您的位置:首页 > 技术园地 > ETL技术 > 增量处理组件

增量处理组件

在日常的操作中,需要作增量处理,睿金ETL能很好的做增量处理,主要包括增量抽取规则的定义,增量运行工作时间和系统时间的同步等。

  1. 增量抽取规则的定义

 

对于存在增量标示的字段的业务表可以根据增量标示的字段来监控增量信息,增量标示的字段可以是时间类型的字段,也可以是具有递增信息的字段。如一个业务表含有日期字段LRRQ,位于Oracle的数据库,其增量抽取的选择语句为LRRQ BETWEEN起始时间‘ AND结束时间,可以用如上动态规则来定义业务的字段的选择语句,其中,该例子的动态规则表达式为:LRRQ BETWEEN # AND #,‘#’表示变量,第一个为起始时间变量,第二个为结束时间变量。

  1. 增量运行工作时间和系统时间的同步

系统运行时数据加工服务都有相应的配置界面完成增量运行工作时间和系统时间的同步。如下所示

 

其中,增量控制器用于生成运行增量的抽取起始和结束,时间间隔指定时运行或增量抽取间隔。