DataCheck-华为云

数据仓库服务 GaussDB(DWS)-概述:数据校验流程

数据校验流程 DataCheck流程如下：下载DataCheck的工具包到Linux或Windows服务器并解压。执行加密命令对源端/目标端数据库登录密码进行加密。配置dbinfo.properties文件，包含源数据库和目标数据库的相关连接信息以及函数开关信息。编辑check_input.xlsx文件，输入schema、源数据库表名和dws表名以及校验级别等参数。执行DataCheck启动命令进行数据校验，校验结果保存在check_input_result.xlsx中。图1 DataCheck流程图

数据仓库服务 GaussDB(DWS) DataCheck简介

数据仓库服务 GaussDB(DWS)-dbinfo.properties配置

dbinfo.properties配置 dbinfo.properties文件中包括一系列应用配置参数，用于连接源端数据库和目标dws数据库，该文件中的参数为通用参数。设置方法如下。打开conf文件夹中的dbinfo.properties文件。根据实际需要修改dbinfo.properties文件中参数的值。 dbinfo.properties文件中的参数说明见表1。参数值不区分大小写。除了列出的参数外，不得更改其他参数值。保存后退出。表1 dbinfo.properties文件的配置参数参数说明取值范围默认值样例 src.dbtype 源端数据库类型 mysql pg dws_src MySQL src.dbtype =mysql src.dbname 源端数据库名称 NA sys src.dbname=sys src.ip 源端数据库ip地址 NA NA src.ip=100.xx.xx.47 src.port 源端数据库端口 NA 3306 src.port=3306 src.username 源端数据库用户名 NA root src.username=root src.passwd 源端数据库密码 NA NA src.passwd=123456 dws.dbtype 目标端dws数据库类型 dws dws dws.dbtype=dws dws.dbname 目标端dws数据库名称 NA gaussdb dws.dbname=gaussdb dws.ip 目标端dws数据库ip地址 NA NA dws.ip=100.xx.xx.186 dws.port 目标端dws数据库端口 NA 8000 dws.port=8000 dws.username 目标端dws数据库用户名 NA dbadmin dws.username=dbadmin dws.passwd 目标端dws数据库密码 NA NA dws.passwd=123456 config.sum.switch 数值校验：求和函数开关 on off on config.sum.switch=on config.avg.switch 数值校验：平均值函数开关 on off on config.avg.switch=on config.data.min.switch 数值校验：最小值函数开关 on off on config.data.min.switch=on config.data.max.switch 数值校验：最大值函数开关 on off on config.data.max.switch=on config.date.min.switch 日期校验：最小值函数开关 on off on config.date.min.switch=on config.date.max.switch 日期校验：最大值函数开关 on off on config.date.max.switch=on config.collate.switch Collate规则计算的开关配置。 on：启动；off：关闭。 on off on config.collate.switch=on config.dws.collate Collate规则的值：“C”、“zh_CN”、“en_US”。 C zh_CN en_US C config.dws.collate=C 父主题：配置DataCheck

数据仓库服务 GaussDB(DWS) 配置DataCheck

数据仓库服务 GaussDB(DWS)-使用DataCheck:基于Windows使用DataCheck

基于Windows使用DataCheck 上传工具包到Windows服务器并解压：生成数据库登录密码密文：进入bin目录，启动CMD工具：执行密文生成的脚本，密文会输出。对源端和目标端数据库登录密码分别执行此脚本生成密文。 encryption.bat [password] 配置conf/dbinfo.properties文件：编辑conf目录下的dbinfo.properties文件，配置源端和目标端的数据库连接信息，配置文件中的密码，使用上一步生成的密文。编辑input/check_input.xlsx文件并保存：使用Excel软件编辑input/check_input.xlsx，填写要校验的表信息并保存。执行数据校验工具 datacheck.bat：查看校验结果 output/check_input_result.xlsx(校验结果分析同Linux场景)：校验结果分析： Status结果为No Pass代表校验未通过。 Check Result Diff列显示校验不通过的项，可在里面查看具体哪一列的校验不通过。 Check SQL中显示在数据库中执行的查询SQL。

数据仓库服务 GaussDB(DWS) DataCheck

数据仓库服务 GaussDB(DWS)-使用DataCheck:注意事项

注意事项启动DataCheck前，必须配置config文件夹中dbinfo.properties文件和check_input.xlsx文件。参数配置错误会导致DataCheck执行错误。如果在同一台服务器上并发进行DataCheck（由同一个或不同DataCheck执行），不同的DataCheck任务必须使用不同的check_input.xlsx文件。用户在执行完DataCheck后会生成logs文件夹，可以进入logs目录查看工具执行过程中的日志，方便定位问题。

数据仓库服务 GaussDB(DWS) DataCheck

数据仓库服务 GaussDB(DWS)-使用DataCheck:基于Linux使用DataCheck

基于Linux使用DataCheck 上传工具包到Linux服务器并解压：生成数据库登录密码密文：进入bin目录：执行密文生成的脚本，密文会输出。对源端和目标端数据库登录密码分别执行此脚本生成密文。 sh encryption.sh [password] 配置conf/dbinfo.properties文件：进入Datacheck目录下，执行vi conf/dbinfo.properties 配置源端和目标端的数据库连接信息，配置文件中的密码，使用上一步生成的密文。编辑input/check_input.xlsx文件：复制check_input.xlsx文件到windows服务器，使用Excel软件编辑，填写要校验的表信息，保存后，上传到Linux服务器覆盖原始的文件。执行数据校验工具：进入bin目录，执行启动脚本sh datacheck.sh 查看校验结果 output/check_input_result.xlsx：校验结果分析： Status结果为No Pass代表校验未通过。 Check Result Diff列显示校验不通过的项，可在里面查看具体哪一列的校验不通过。 Check SQL中显示在数据库中执行的查询SQL。

数据仓库服务 GaussDB(DWS) DataCheck

云服务器内容精选

DataCheck

7*24

备案

专业服务

退订

建议反馈

售前咨询热线