您的位置:首页 > 技术园地

增量处理组件

在日常的操作中,需要作增量处理,睿金ETL能很好的做增量处理,主要包括增量抽取规则的定义,增量运行工作时间和系统时间的同步等。

l  增量抽取规则的定义

 
对于存在...

数据抽取转换

数据抽取、转换、装载是对由基础数据库抽取数据经过变换处理然后装入分析数据库这一过程中所有处理的总称,是联系分析数据库与基础数据库的桥梁。睿金ETL主要实现以下功能:
1)...

数据清洗规则扩展

 
睿金ETL提供了数据转换/清洗处理框架,如上图所示。扩展转换和清洗处理可以采用Java语言扩展,主要实现数据转换/清洗处理接口的方法,包括清洗转换处理接口、清洗转换输入界面...

数据清洗常有的清洗方法

ETL数据清洗常有的清洗方法包括基于转换的清洗方法和基于翻译替换的清洗方法。

 ETL数据清洗基于转换规则的清洗方法

主要是格式转换,包括字段拆分/合并、不同格式间转换等...

数据清洗

由于数据输入错误、错误记录、丢失字等各种因素的存在,基础数据库原始数据不可避免的存在噪声数据,这些垃圾数据对数据的分析和处理工作没有任何意义,为此,必须在数据库系统中...

流程组件

睿金ETL数据交换平台经过配置的各服务组件,可以通过拖拉生成流程,流程本身也可以作为另一个流程的处理节点,方便支持流程的嵌套。流程组件处理支持以下处理策略:
 1 顺序执行...

数据交换服务组件

该平台还提供了数据交换服务组件,如下所示
 

如上所示,数据的处理包括数据源、数据的抽取、数据格式规范化、数据加工处理、数据目标等组成。
数据源或目标可以是数...

安全可靠的数据传输通道

睿金ETL数据交换平台内嵌消息队列的传送机制,提供了安全可靠的数据传输通道,具体处理机制如下:
l  支持消息路由,保证数据在传输过程中的不重、不漏、不错。
l  提供基于...

数据交换平台

睿金ETL提供数据交换平台方便和其他系统的数据交换,实现了如下功能:
1)  系统能够导入系统的制度、基层数据、汇总数据等,同时能够兼容旧版本的制度。
2)  数据交换平台方...

睿金ETL方案

睿金ETL基于ReiKing数据整合产品实现。ReiKing数据整合产品提供开放的数据整合支撑架构平台和基于其上的可重用的数据整合服务、整合标准和整合策略,具有很好的可靠性和易用性。

...