目录

近数计算

  • 文档创建者:ReiKing
  • 最近更新: 于 2023-07-13
  • 图片.png

    近数计算技术是指在一个数据服务流内实现数据检查、数据清洗、数据比对、数据转换、数据逻辑判断、数据路由、数据异常处理等计算并将计算的结果输出到数据服务的目标中;近数计算技术通过优化算法,将数据服务的加工计算在数据管理引擎内一次完成,减轻数据源和目标IO操作和计算压力,大大降低了对数据源和数据目标的影响。通过分页分块、并行处理等技术实现数据加工、质量处理、数据清洗等快速高效运行,实现流批一体数据处理。

    近数计算技术实现数据库、NoSQL(hive、hbase、mogodb)、搜素引擎(ElasticSearch)、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换。

    近数计算处理可以是数据加工处理、数据逻辑检查、数据安全处理、调用服务或者方法等。数据加工处理包括字符串加工、字段赋、时间类转换、比对翻译、数学计算、数组操作、系统信息、变量操作、专用转换、GIS转换等;数据逻辑检查包括:格式检查、范围检查、缺失记录检查、相似重复记录检查、数字检查、专用检查、逻辑表达式检查、复合规则检查等;数据安全处理包括:安全过滤、模糊加密等;调用服务或者方法包括:调用流程/服务、根据逻辑判断调用处理方法。

    数据路由包括:干净数据路由、异常数据路由、业务规则路由等。

    提供可视化界面实现如下功能:

    ·支持数据库、NoSQL(hive、hbase、mogodb等)、搜素引擎(Elastic Search等)、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换

    ·基于近数计算技术的转换加工处理

    ·基于近数计算技术的逻辑判断和数据质量检查

    ·保证数据事务完整性

    ·分组并行加工能力

    ·全量、批量、实时的数据交换

    ·大数据量的数据交换

    ·复杂网络环境下可靠数据交换

    ·跨网段、跨单位的联动式数据交换

    ·基于通道、文件的加密传输

    咨询留言
    电话联系
    服务热线
    400-608-2558
    服务热线
    400-608-2558
    微信沟通
    微信扫描二维码,立即在线咨询
    微信扫描二维码,立即在线咨询
    免费试用

    咨询留言

    姓名 *
    电话 *
    验证码 *
    留言 *