睿金ETL方案
睿金ETL基于ReiKing数据整合产品实现。ReiKing数据整合产品提供开放的数据整合支撑架构平台和基于其上的可重用的数据整合服务、整合标准和整合策略,具有很好的可靠性和易用性。该ETL提供工具方便可视化配置数据整合规则和处理流程,可视化部署、管理、监控数据整合应用。如下所示

睿金ETL主要由运行服务器、管理服务器、管理工具、规则库等组成。运行服务器是睿金ETL数据处理加工中心,主要包括连接器、数据加工、运行支撑等,连接器实现污普数据和睿金ETL的数据交互,可以把存储在文件、消息队列、数据库、应用系统等数据源中的污普数据抽取出来做数据加工,也可以把加工过的数据装载到污普专题数据库中;数据加工部分实现数据的格式规范化、数据的复制、数据的转换、数据的清洗、数据的路由等处理,并通过连接器加载到数据目标中;运行支撑是SOA的支撑架构,各种数据加工处理服务可以作为插件插入到运行支撑环境中,主要包括企业服务总线、流程管理、调度管理、服务管理、规则管理、队列管理等核心部件。管理服务器和管理工具是睿金ETL的管理部分,可以可视化的配置数据加工服务的规则、拖拉生成加工处理的流程;还可以可视化部署和发布数据加工处理所需的规则和处理组件;还可以可视化的监控数据加工的处理过程和处理结果。规则库是各种数据加工处理规则的存储和管理中心,既包括数据加工技术处理规则,如数据加工处理服务或组件的技术描述、流程处理过程技术描述、变量和动态规则等技术描述;还包括数据加工业务规则,如数据抽取规则、映射转换规则、数据清洗规则、数据路由加载规则等。
睿金ETL实现了如下功能:
- 睿金ETL提供数据交换平台,方便与原系统无缝集成。
- 睿金ETL提供数据清洗服务组件,根据数据清洗方案,对原始数据进行反复的清洗和整理,最终为形成专业的分析数据库提供支持。
- 睿金ETL提供数据抽取转换服务组件,方便对数据源的原始数据进行数据抽取、转换、汇总和整理到目标分析数据库中。
- 睿金ETL保证数据加工处理的可靠性。
- 睿金ETL提供开放的数据加工支撑平台,方便系统扩展。