双照移山数据库迁移平台-

      双照科技开发的 数据库迁移 平台是根据 数据迁移 的业务特性，针对性实现数据 迁移 、脚本迁移。平台采用微服务的方式构建，根据应用特进行划分，自上向下提供应用支撑，提供包括数据资产管理、权限控制、日志监控等功能。底层通过自研的调度系统，通过多线程，高并发的方式实现对数据迁移工作的支持。

      随着GaussDB的推广和应用，历史数据迁移到GaussDB迫切需要 自动化 迁移工具，移山数据迁移平台能够支持将各种类型 数据库 的历史数据迁移到GaussDB，并集成了数据资产管理，依托自主研发的任务调度引擎用以支持高速高效的数据迁移工作，结合数据检核工具实现数据迁移工作的检核工作。

1. 技术架构

       数据库迁移平台计划采用微服务架构，对整体服务进行解耦，设计分成前端服务、后台服务、监控调度、开发工具等四个模块。监控调度服务支持横向扩展，以对接迁移涉及的不同类型的 数据库产品 。通过吩咐的迁移开发工具的支持，实现数据迁移工作的高速高效的开展。

2.数据资产
      数据资产是迁移平台基础信息的管理及维护功能，数据资产记录并存储源库及高斯库等相关集群信息，记录集群的相关配置信息项。同时数据资产还负责登记集群的所有元数据信息，元数据是作为数据迁移任务及相关管理服务的基础，并能够承载了元数据信息变更管理等重点业务需求。
      映射关系信息维护是迁移工作的重要指标信息，映射关系主要登记各种类型数据库的语法、字段类型等信息到GaussDB的映射关系信息，信息主要用于数据迁移过程中的DDL、数据结构等信息的转译，也同样也是脚本迁移的重要转译信息。

3.数据迁移
      数据迁移是负责数据从源库到GaussDB进行迁移的功能，其中包含数据迁移任务的管理工作，数据迁移任务的具体调度及任务执行工具（基于GDS适配），涵盖了数据迁移任务的预处理工作，例如：建表、配置参数、初始化等。
     数据检核是对数据迁移结果的验证工具，包含对源库表数据的统计分析和GaussDB数据的统计分析，并支持对两者的分析结果进行个性化的规则对比，能够根据用户实际需求进行报表的定制和展示。

4.脚本迁移
     脚本迁移工具是集成脚本实时翻译功能，通过映射关系的配置信息实时将输入的源库脚本转译成GaussDB的脚本，同时也能够支持批量的脚本文件进行离线转译，转译后的脚本文件也能够梳理异常信息并提供展示和下载的功能。

5.权限管理
     权限管理主要负责提供系统基础信息的管理工作，包括用户的组织机构及账号信息的管理，系统菜单的管理及维护，角色及权限的配置及管控等。

6.系统配置
系统配置主要管理和维护系统的数据字典信息，系统的运行参数信息。

7.涉及软件及版本信息
软件名称            版本                                              备注
db2客户端         10.1+                                            可根据db2数据库适配
mysql客户端      15.1+                                            可根据mysql数据库适配
python3            3.6+                                              还需要有pip工具和pymysql包
gsql客户端        6.5.1+(Kernel-V300R002C00)       可根据高斯数据库适配
gds客户端         6.5.1+(Kernel-V300R002C00)       可根据高斯数据库适配