低代码平台数据集成能力——ETL工具(低代码erp)

现代的企业做数字化转型一定已经存在大量的应用和数据,作为新一代的开发工具必须要有数据集成能力,这样才可以整合宝贵的历史数据。江苏南大先腾信息产业有限公司-乐扣低代码平台 是如何做数据整合的呢?

数据资源定义

用户需要在资源管理中配置已有系统的数据和服务,包括各种关系数据库、非关系数据库、消息中间件和restful服务。

低代码平台数据集成能力——ETL工具(低代码erp)

租户数据资源管理

用户可以将现有所有业务系统中的数据和服务都配置到这个资源列表中。

定义ETL步骤

用户可以通过API配置工具来定义ETL的步骤,下图是以一个交易数据汇总整合为例来展示ETL的步骤的。

低代码平台数据集成能力——ETL工具(低代码erp)

定义ETL数据抽取转换逻辑

步骤如下:

  1. 获取线上交易数据,并对数据进行过滤,过滤掉无用的数据。
  2. 获取线下交易数据,可能和线上交易数据不在一个库中,并先对数据进行整理(计算)在进行过滤。
  3. 汇总线上和线下交易数据。
  4. 写入到目标数据库(数据中心)中。

执行数据转换

ETL事务一般是在后台运行的,可以通过定时任务来执行也可以通过消息机制来出发。

低代码平台数据集成能力——ETL工具(低代码erp)

ETL事务出发机制

总结

乐扣低代码平台没有专门设计一个ETL工具而是通过给api接口添加触发机制(定时任务或者消息订阅)来达到ETL的功能。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年12月29日 上午9:11
下一篇 2023年12月29日 上午9:23

相关推荐