表复制服务
表复制将不同数据库中的多个表根据各自的抽取过滤条件抽取复制到同一个目标库中。一般源表的表结构和目标表的表结构相同。
表复制可以选择文件方式、内存方式、变化监控器方式...
表复制将不同数据库中的多个表根据各自的抽取过滤条件抽取复制到同一个目标库中。一般源表的表结构和目标表的表结构相同。
表复制可以选择文件方式、内存方式、变化监控器方式...
数据抽取转换服务主要包括:表复制服务、表-表转换服务、表-表路由服务、文件-表转换服务、表-文件转换服务等,这些服务各有特点,可以适合于不同的场景。都可以通过工具可...
在日常的操作中,需要作增量处理,睿金ETL能很好的做增量处理,主要包括增量抽取规则的定义,增量运行工作时间和系统时间的同步等。
l 增量抽取规则的定义
对于存在...
数据抽取、转换、装载是对由基础数据库抽取数据经过变换处理然后装入分析数据库这一过程中所有处理的总称,是联系分析数据库与基础数据库的桥梁。睿金ETL主要实现以下功能:
1)...
睿金ETL提供了数据转换/清洗处理框架,如上图所示。扩展转换和清洗处理可以采用Java语言扩展,主要实现数据转换/清洗处理接口的方法,包括清洗转换处理接口、清洗转换输入界面...
ETL数据清洗常有的清洗方法包括基于转换的清洗方法和基于翻译替换的清洗方法。
ETL数据清洗基于转换规则的清洗方法
主要是格式转换,包括字段拆分/合并、不同格式间转换等...
由于数据输入错误、错误记录、丢失字等各种因素的存在,基础数据库原始数据不可避免的存在噪声数据,这些垃圾数据对数据的分析和处理工作没有任何意义,为此,必须在数据库系统中...
睿金ETL数据交换平台经过配置的各服务组件,可以通过拖拉生成流程,流程本身也可以作为另一个流程的处理节点,方便支持流程的嵌套。流程组件处理支持以下处理策略:
1 顺序执行...
该平台还提供了数据交换服务组件,如下所示
如上所示,数据的处理包括数据源、数据的抽取、数据格式规范化、数据加工处理、数据目标等组成。
数据源或目标可以是数...
睿金ETL数据交换平台内嵌消息队列的传送机制,提供了安全可靠的数据传输通道,具体处理机制如下:
l 支持消息路由,保证数据在传输过程中的不重、不漏、不错。
l 提供基于...