您的位置:首页 > 技术园地 > 数据采集 > 数据采集系统

数据采集系统

数据采集系统基于ReiKing数据整合产品实现。ReiKing数据整合产品提供开放的数据整合支撑架构平台和基于其上的可重用的数据整合服务、整合标准和整合策略,具有很好的可靠性和易用性。该产品提供工具方便可视化配置数据整合规则和处理流程,可视化部署、管理、监控数据整合应用。如下所示

数据采集系统主要由运行服务器、管理服务器、管理工具、统一规则库等组成。数据源通过采集系统实现数据的抽取、转换、清洗、加载处理加载到相应的数据目标中,数据源和数据目标可以是应用系统、数据库、文件、消息队列等。

管理服务器和管理工具是数据采集系统的管理部分,管理服务器是数据采集系统的集中管理中心,实现集中管理规则、集中管理运行服务器、响应管理工具的请求、通信信息的路由等功能。管理工具是数据采集系统的管理界面,用户通过管理工具实现:

  1. 可视化的配置数据加工规则,包括配置数据加工服务、数据清洗映射、拖拉生成加工处理的流程等;
  2. 可视化部署和发布数据加工处理所需的规则和处理组件;
  3. 可视化的监控数据加工的处理过程和处理结果。

运行服务器是数据采集系统数据处理加工中心,主要包括数据抽取部分连接器、数据加工、运行支撑等,数据连接器实现数据源、数据目标和数据采集系统的数据交互,可以把存储在文件、消息队列、数据库、应用系统等数据源中的数据抽取出来做数据加工,也可以把加工过的数据装载到相应的数据目标中,数据目标也可以是文件、消息队列、数据库、应用系统等;数据加工部分实现数据的格式规范化、数据的复制、数据的转换、数据的清洗、数据的路由等处理,并通过连接器加载到数据目标中;运行支撑是SOA的支撑架构,各种数据加工处理服务可以作为插件插入到运行支撑环境中,主要包括企业服务总线、流程管理、调度管理、服务管理、规则管理、队列管理等核心部件。

统一规则库是各种数据加工处理规则的存储和管理中心,既包括数据加工技术处理规则,如数据加工处理服务或组件的技术描述、流程处理过程技术描述、变量和动态规则等技术描述;还包括数据加工业务规则,如数据抽取规则、映射转换规则、数据清洗规则、数据路由加载规则等。

数据采集系统实现了如下功能:

  • 提供一个可靠的数据传递通路,方便网络条件不好情况下的数据采集。该数据通道支持集中式、分布式、混合式三种部署方式,方便解决不同单位内部、单位和分部门之间、单位与单位之间数据可靠传输的需求。
  • 提供一个统一的数据整合平台,为所有共享数据的交换提供基础支撑,从而可以实现保护投资、资源整合。并提供公用的基于其上的数据整合服务、数据整合标准和数据整合策略。
  • 提供易用的管理平台,对数据交换应用项目提供全程支持,通过它可以可视化的完成数据交换的加工处理配置、数据交换的处理流程生成、数据交换应用项目的部署、数据交换应用项目的运行和管理监控等。
  • 保证数据加工处理的可靠性,在保证数据加工过程可靠性的同时,提供了相应的数据清洗服务组件保证数据加工的质量。