概述

 目前行业应用数据种类繁多，在数据治理、共享应用的前期，进行各类数据收集汇总，构建原始数据资源池，成为数据管理应用的重要一环。通过多源异构数据通用引接模块可以实现各类数据的收集与管理。

一、在线数据接引

 在线数据接引主要包括数据库接引、API接口接引、实时报文接引。

1、数据库接引

 以Python技术为基础，集成各类数据库操作组件，构建数据库引擎，通过数据库地址、用户、密码等信息实现数据库的直接连接。连接测试成功，即可获取数据库中的数据表清单。

 用户根据具体业务需求，选择需要的数据表（部分或全部），确定接引的外部源数据。通过本地原始数据管理，创建数据库作为接引目标库。支持增量接引和覆盖接引，支持定时引接和一次性引接。

数据库表接引模型

2、API接口接引

 API接口由外部业务系统提供，用于获取相关数据。以Python技术为基础，搭建API接口引擎，支持POST、GET等接入方式，实现接口数据的获取。返回结果为json格式，分为结构化和半结构化数据。

API接口接引模型

3、实时报文接引

 以Python技术为基础，针对不同的报文格式进行解析组件开发，形成解析组件库，实现数据的连接、接收、数据解析，形成结构化数据集合。

实时报文接引模型

二、离线数据接引

 支持Excel、Json、离线数据库文件、二进制文件以及其他文档资料的接引，针对性的设计接引模型，实现离线数据的导入汇聚。

1、Excel类型数据接引模型

 将Excel文件通过导入功能上传到服务器，预存在文件存储数据库中，系统根据数据库表字段对应配置，通过调用Python通用解析组件，将上传的Excel文件入库到指定数据表及数据库中。

Excel类型数据接引模型

2、Json文件接引模型

 将Json文件通过导入功能上传到服务器，预存在文件存储数据库中，系统通过调用Json通用解析组件，将上传的Json文件解析为Json结构数据，根据页面配置需要信息及对应表字段，将Json文件数据入库到指定数据表及数据库中。

Json文件接引模型

3、DB离线数据库接引模型

 将DB离线数据通过导入功能上传到服务器，预存在文件存储数据库中，系统通过调用DB库连接实例，将DB文件解析为表及数据记录，根据指定存储目标表及对应字段，入库到相应数据库中。

DB离线数据库接引模型

4、二进制文件接引模型

 将二进制文件数据通过导入功能上传到服务器，预存在文件存储数据库中，系统通过调用特定解析组件，根据表字段对应配置，将二进制文件解析为数据记录，入库到相应数据库中。

二进制文件接引模型

5、文件资料接引模型

 将音视频、图像、文件资料、其他文件资料等文件数据通过导入功能上传到服务器，预存在文件存储数据库中，系统新增文件资料表，并将文件数据存储在结构化数据库中。

文件资料接引模型