首页 >> 国遥动态 >> 技术分享 >> 多源异构数据通用引接模块技术解析
多源异构数据通用引接模块技术解析
发布时间:2022-07-22 | 来源: | 点击量:8088

概述

 目前行业应用数据种类繁多,在数据治理、共享应用的前期,进行各类数据收集汇总,构建原始数据资源池,成为数据管理应用的重要一环。通过多源异构数据通用引接模块可以实现各类数据的收集与管理。

一、在线数据接引

 在线数据接引主要包括数据库接引、API接口接引、实时报文接引。

1、数据库接引

 以Python技术为基础,集成各类数据库操作组件,构建数据库引擎,通过数据库地址、用户、密码等信息实现数据库的直接连接。连接测试成功,即可获取数据库中的数据表清单。

 用户根据具体业务需求,选择需要的数据表(部分或全部),确定接引的外部源数据。通过本地原始数据管理,创建数据库作为接引目标库。支持增量接引和覆盖接引,支持定时引接和一次性引接。

1.png

数据库表接引模型

2、API接口接引

 API接口由外部业务系统提供,用于获取相关数据。以Python技术为基础,搭建API接口引擎,支持POST、GET等接入方式,实现接口数据的获取。返回结果为json格式,分为结构化和半结构化数据。

2.png

API接口接引模型

3、实时报文接引

 以Python技术为基础,针对不同的报文格式进行解析组件开发,形成解析组件库,实现数据的连接、接收、数据解析,形成结构化数据集合。

3.png

实时报文接引模型

二、离线数据接引

 支持Excel、Json、离线数据库文件、二进制文件以及其他文档资料的接引,针对性的设计接引模型,实现离线数据的导入汇聚。

1、Excel类型数据接引模型

 将Excel文件通过导入功能上传到服务器,预存在文件存储数据库中,系统根据数据库表字段对应配置,通过调用Python通用解析组件,将上传的Excel文件入库到指定数据表及数据库中。

4.png

Excel类型数据接引模型

2、Json文件接引模型

 将Json文件通过导入功能上传到服务器,预存在文件存储数据库中,系统通过调用Json通用解析组件,将上传的Json文件解析为Json结构数据,根据页面配置需要信息及对应表字段,将Json文件数据入库到指定数据表及数据库中。

5.png

Json文件接引模型

3、DB离线数据库接引模型

 将DB离线数据通过导入功能上传到服务器,预存在文件存储数据库中,系统通过调用DB库连接实例,将DB文件解析为表及数据记录,根据指定存储目标表及对应字段,入库到相应数据库中。

6.png

DB离线数据库接引模型

4、二进制文件接引模型

 将二进制文件数据通过导入功能上传到服务器,预存在文件存储数据库中,系统通过调用特定解析组件,根据表字段对应配置,将二进制文件解析为数据记录,入库到相应数据库中。

7.png

二进制文件接引模型

5、文件资料接引模型

 将音视频、图像、文件资料、其他文件资料等文件数据通过导入功能上传到服务器,预存在文件存储数据库中,系统新增文件资料表,并将文件数据存储在结构化数据库中。

8.png

文件资料接引模型