数据仓库服务 GAUSSDB(DWS)-使用CDM迁移Hologres至GaussDB(DWS)集群:步骤三:表数据校验

时间:2024-11-15 10:15:43

步骤三:表数据校验

迁移完成之后,可使用数据校验工具DataCheck校验源端、目标端的数据是否一致。

  1. 下载软件包后,解压DataCheck-*.zip包,进入DataCheck-*目录,即可使用。目录下各文件的使用说明参见表2
  2. 配置工具包。

    • Windows环境下
      打开conf文件夹中的dbinfo.properties文件,根据实际需要进行配置。Holo源的配置参考下图:
      图16 配置DataCheck

      文件中的密码src.passwd和dws.passwd可使用工具,执行以下命令生成密文。

      encryption.bat password

      运行成功后会在本地bin目录下生成加密文件,如下图。

    • Linux环境下

      其他步骤相同。密文生成方法与上文中Window环境下的方法类似,命令为sh encryption.sh [password]

  3. 执行数据校验。

    Windows环境下

    1. 打开check.input文件,将要校验的Schema、数据库、源表、目标端表填入,Row Range可根据需要填写特定范围的数据查询语句。
      • 源端的库名在配置文件中配置后,check.input文件中的源端会默认填写配置文件中的库名,若check.input文件中填入其他库名,以check.input文件中的优先级为高。
      • 校验级别Check Strategy支持high、middle、low三种,若未填写,默认为low。
      • 校验模式Check mode支持statistics,即统计值校验。

      下图为元数据对比的check_input文件。

      图17 check_input
    2. 在bin目录下使用命令datacheck.bat执行校验工具:

    3. 查看已生成的校验结果 check_input_result.xlsx:

      下图为源端元数据与目标端一致的结果。

      下图为源端元数据与目标端不一致的结果。

      统计值校验参考下图。

    Linux环境下

    1. 编辑check_input.xlsx文件并上传,参考Window环境下的第一步。
    2. 使用命令sh datacheck.sh执行校验工具。

    3. 查看校验结果check_input_result.xlsx(校验结果分析与Windows场景相同)。

support.huaweicloud.com/bestpractice-dws/dws_05_0017.html