如何跟踪数据的数据加工处理过程

       ReiKing有完善的机制可以跟踪数据加工处理的过程、每步骤处理的情况、是否有意外及产生的意外原因和意外的数据、在加工过程中不能确定的数据的处理等。
可视化的跟踪数据加工处理的情况,如下图所示,可以可视化的监控到每步处理的情况、是否有意外及产生的意外原因和意外的数据等。
611

       在加工过程中不能确定的数据的处理,ReiKing将把这些数据记录到Discard文件中,供分析,和事后的重新装载。
关于Discard文件的说明:
       在数据装载的过程中,有可能会遇到脏数据或主键相同等意外,对这种情况,ReiKing并不中断装载过程,而是把相应的脏数据或意外写到Discard文件中,供查询或进一步清洗等处理使用。
       Discard文件的命名格式:
       表复制服务样式,举例:
       TC_local_oracle_target_USERINFO20070413123027.dis
       其中TC_开头,local_oracle_target为目标库的DBID,USERINFO目标表名,20070413123027为开始执行该表复制的系统时间
       表转换服务样式,举例:
       TT_gs_db_ZS_DJXX20070415094858.dis
       其中TT_开头,gs_db为目标库的DBID,ZS_DJXX目标表名,20070415094858为开始执行该表转换的系统时间
表路由服务样式,举例:
       TR_gs_db_ZS_DJXX20070415094858.dis
       其中TT_开头,gs_db为目标库的DBID,ZS_DJXX目标表名,20070415094858为开始执行该表转换的系统时间
文件-表转换服务样式,举例:
       FT_ local_oracle_target_USERINFO20070413123027.dis
       其中FT _开头,local_oracle_target为目标库的DBID,USERINFO目标表名,20070413123027为开始执行该文件-表转换的系统时间
       Discard文件内容样式:

63

       其中,第一行为选择的目标表的列
       以后为discard内容
       每一行由产生的原因说明和选择的目标列的内容组成,每一个字段的内容用引号引起。
       Discard文件所在的路径:
       位于相应的数据加工服务器的log目录下
       Discard文件的处理策略建议:
       对于脏数据,可以对脏数据进行修改,修改完后,通过文件-表转换直接加载到目标表中;,也可以通过装载被废弃的数据服务装载,下图是其截图

62

       通过该定义界面可以选择要装载的Discard文件、选定Insert还是Update装载方式、选定目标表及目标表的主键,完成相应的Discard文件装载服务定义。