MaxCompute(原ODPS)开发入门指南——数据开发工具篇

大家在使用大数据计算服务MaxCompute时,最头疼就是我现在已有的数据如何快速上云?我的日志数据如何采集到MaxCompute上?等等。。。具体详见《MaxCompute(原ODPS)开发入门指南——数据上云篇》。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

但是数据在MaxCompute上了之后,问题又来了,我怎么基于上面进行快速的数据开发,构建大数据仓库。

本文就重点为大家推荐和介绍开发工具:① 大数据开发套件Data IDE; ② MaxCompute Studio。

大数据开发套件Data IDE

大数据开发套件基于MaxCompute强大的计算存储能力,提供多人协作开发能力且支持百万级别任务稳定调度系统的在线开发工具,在阿里巴巴集团内是建设大数据仓库平台的必备工具。

1.工作流设计器

通过拖拽式进行工作流任务的设计,包括上下游节点任务的依赖关系。包括SQL、MR、数据同步、机器学习、shell节点任务等。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

2.数据集成

支持常见的数据源集成,提供可视化方式配置和脚本模式,开发者可以根据自己喜好进行选择。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

例子:ftp数据同步到MaxCompute的可视化配置界面。如下:

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

例子:ftp数据同步到MaxCompute的脚本开发模式,包括reader和writer。如下:

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

3.调度系统

大数据开发套件Data IDE支持调度周期类型:**天、小时、分钟(5的倍数)、月、周**。也就是说在大数据开发套件中如果做数据集成,最小的数据周期颗粒度为5分钟一次。具体可以在调度配置中进行设置:

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

只需要进行下拉框配置即可设置工作流任务的调度周期和任务执行时间。

4.运维系统

提供可视化运维界面,完全解放数据开发运维的问题,包括任务的重跑、kill和补数据等操作。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

5.数据管理

在大数据开发套件中也提供了表级/字段级的数据血缘管理。同时提供整个组织级别的空间表权限管理,包括权限申请、授权和收回。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

详情可以进入了解大数据开发套件Data IDE!

MaxCompute Studio

不同于大数据开发套件Data IDE,MaxCompute Studio是阿里云数加MaxCompute提供的本地集成开发环境,MaxCompute Studio 基于 IntelliJ IDEA 平台提供了一套扩展插件,皆在提升MaxCompute 用户的开发体验,给到用户不同开发体验的多种选择。

详情可以进入了解MaxCompute Studio更多信息。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

如下为我本地的开发环境界面:

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

具体的安装配置和使用可以查看如下短视频:

MaxCompute Studio安装配置视频

总结

工欲善其事必先利其器。在进行数据开发之前需要根据自己的业务情况、个人喜好来选择正确的大数据开发套件。那么讲这么多,这两个具体在数据开发过程中的差异在哪?

【相同点】

两者都是基于MaxCompute之上的开发者工具,为开发者提供友好的开发体验。

【差异点】

① 调度系统:Data IDE具有强大且稳定的调度系统,在阿里集团内部稳定保障数据产生多年。适合数据开发者进行搭建大型数据仓库。而MaxCompute Studio更偏向于本地开发和数据分析,是没有自己的调度系统。

② UDF/MR开发:Data IDE本身不支持UDF/UDF源码开发和编译,只接受jar包资源方式上传的执行;而Studio提供UDF开发、MR开发。

③ Data IDE大数据开发套件是在线的开发工具,用户只需要能够上网即可进行。而MaxCompute Studio需要安装在本地,故需要对本地的环境有要求。

MaxCompute(原ODPS)开发入门指南——数据开发工具篇

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年5月7日 上午9:07
下一篇 2023年5月7日 上午9:17

相关推荐

  • 基层党组织书记以“十”谋“实”(党组织书记做到)

    清城区第一期基层党组织“书记有约”党建沙龙活动在洲心街道连江社区共享会客厅举行。黄玉熹 摄 近日,《清远市基层党组织书记“十个思考”(试行)》印发,为进一步加强“头雁”队伍建设,清…

    科研百科 2023年6月9日
    309
  • 建设管理工程项目管理大纲

    建设管理工程项目管理大纲 一、项目概述 建设管理工程项目管理大纲是指在建设管理过程中,对工程项目进行有效的计划、组织、协调和控制,以确保项目按时完成、高质量交付和达到预期目标。 二…

    科研百科 2024年5月27日
    73
  • 党建品牌名称大汇总

    党建品牌名称大汇总 党建品牌是中国共产党在组织建设、党员教育、党员服务等方面的一种创新实践,是中国共产党在新时代中推进全面从严治党、加强党的建设的重要手段。今天,我们将为您汇总一些…

    科研百科 2024年11月13日
    35
  • 项目工程监理对进度控制建议

    项目工程监理对进度控制的建议 进度控制是项目管理中非常重要的一环,它关系到项目的整体规划和目标的实现。作为项目监理,对项目的进度控制提出以下建议。 1. 制定详细的进度计划:在项目…

    科研百科 2024年9月3日
    48
  • 聚力大数据,打造云党建(大数据党建云平台)

    伴随着信息科技的迅猛发展和日新月异的变化,以大数据为代表的信息技术已经渗透至各个领域,这将深刻地改变我们的社会形态、生活习惯、组织方式和行为方式,也将深深地影响党的建设,给党建工作…

    科研百科 2023年2月10日
    401
  • 工程项目管理层次

    工程项目管理层次 工程项目管理是一个复杂的过程,需要跨越不同的层次来实现项目的目标。在这个过程中,不同的人员需要在不同的层次上协调工作,以确保项目的顺利进行。本文将介绍工程项目管理…

    科研百科 2024年8月28日
    44
  • 2016年湖北省畜牧业发展方向

      2016,湖北畜牧业何去何从?近日召开的全省畜牧兽医工作会给出了答案:以绿色发展为引领,以提质增效转方式、安全防控可持续为主线,保持肉蛋奶产量稳定增长,确保不发生区域性重大动物…

    科研百科 2022年5月28日
    329
  • 英语中公司里职员的分类

    In today\’s corporate world, employees are classified into various categories based …

    科研百科 2024年10月25日
    0
  • 制造业企业采购的内部控制(制造业企业采购的内部控制包括)

    采购是企业生产经营的起点,采购与付款又密切关联。采购的原材料质量和价格又很大程度上决定企业的产品质量。因此通过建立企业内部控制来规范供应商的选择、采购合同的订立、物资的运输方式、物…

    科研百科 2024年1月19日
    100
  • UCL生物相关本科专业

    UCL生物相关本科专业简介 UCL生物科学专业是英国最古老、最著名的生物科学专业之一,成立于1895年,是英国最早开设生物科学专业的大学之一。UCL生物科学专业为学生提供了广泛的生…

    科研百科 2024年11月14日
    2