您的位置:首页 > 技术园地 > ETL技术 > 开放的数据加工平台

开放的数据加工平台

ReiKing数据交换平台采用SOAService Oriented Architecture)的插座式架构,以规则为核心,企业服务总线、数据管理、调度管理、队列管理、服务管理、工作流等核心部件无缝集成,共同作为数据交换平台的支撑平台。

睿金ETL该支撑平台作为各种适配器、桥接子系统的运行环境。各种处理服务组件作为“插件”被发布到该支撑平台中,这些服务组件也可以组合成流程组件(也叫组合组件),这些服务组件和流程组件作为适配器、桥接子系统的组成部分,完成数据格式转换等处理。

 

该支撑平台具有很好的开放性,提供了统一开发接口和基于变量的动态规则。

1)统一开发接口

ReiKing数据交换平台基于该平台之上不仅提供了重用数据整合服务、数据整合标准和数据整合策略,还提供了统一开发接口供扩展,主要包括如下接口:

  1.  
    1. –  统一的处理接口
      1. •  统一服务接口,用于实现服务组件的扩展
      2. •  统一数据转换接口,方便扩展数据转换处理
    2. –  统一数据接口
      1. •  文件读写接口,方便特殊文件的导入/导出
      2. •  数据库的操作接口,方便特殊数据库的扩展
      3. •  应用系统适配器接口,
      4. •  消息队列的数据邦定接口
      5. •  字符集的无关性
    3. –  统一配置界面接口
    4. –  统一运行管理监控接口

同时,还提供了相应的客户端API方便各种客户端使用服务器的服务、流程等资源。

 

2)动态变化规则

同时该开放平台还支持动态变化规则,主要表现在如下方面:

  1.  
    1. –  动态SQL语句,SQL语句中可以含有变量
    2. –  增量的过滤条件
      1. •  增量抽取的依据(如工作时间、序号等)可以是变量
    3. –  转换处理服务
      1. •  源和目标处理表名字可以是变化的
      2. •  源和目标数据库名字可以是变化的
    • •  规则中可以含有变量,变量对应一个处理方法
    • •  转换处理也可以对应处理方法
    • •  数据加载路由条件可以是变化的
    • •  流程节点输入输出可以含有动态规则
    • •  条件语句可以是动态表达式