您的位置:首页 > 技术园地 > ETL技术 > 噪声数据的处理

噪声数据的处理

由于数据输入错误、错误记录、丢失字等各种因素的存在,基础数据库原始数据不可避免的存在噪声数据;在加工过程中对于这些噪音数,ReiKing并不中断装载过程,而是将把这些数据记录到Discard文件中,供分析和事后的重新装载。

Discard文件内容样式:

其中,第一行为选择的目标表的列

以后为discard内容

每一行由产生的原因说明和选择的目标列的内容组成,每一个字段的内容用引号引起。

对于数据加载到数据库中主键重复的数据,可以选择覆盖主键重复数据方式,如下所示。