由于数据输入错误、错误记录、丢失字等各种因素的存在,基础数据库原始数据不可避免的存在噪声数据;在加工过程中对于这些噪音数,ReiKing并不中断装载过程,而是将把这些数据记录到Discard文件中,供分析和事后的重新装载。
Discard文件内容样式:
其中,第一行为选择的目标表的列
以后为discard内容
每一行由产生的原因说明和选择的目标列的内容组成,每一个字段的内容用引号引起。
对于数据加载到数据库中主键重复的数据,可以选择覆盖主键重复数据方式,如下所示。
ETL技术 2008/12/01 阅读次数:0