检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：
DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true：查询DLI表的分区，空分区效验状态为成功，分区不存在状态为失败。 false：不查询DLI表的分区，空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile
勾选需要迁移的桶，单击操作列的“修改”，调整桶的迁移方式为“前缀迁移”，单击“确认”，添加该桶到待迁移桶列表中。 所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 绑定源端凭证。 单个绑定源端凭证：在待迁移桶列表中，单击每一行操作列的“修改”，在弹出的修改迁移设置窗口中选择源端凭证进行绑定。
一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 创建迁移项目： 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机，用于安装迁
（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可
0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像，磁盘)是否有遗漏，或联系MgC 技术支持人员，查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数 *** 有特殊字符 请联系MgC 技术支持人员，查看工作流数据库参数***是否有特殊字符。
大数据节点类型 用于迁移前评估 数据库（含深度采集） 采集项 说明 作用 id ID 用于迁移前评估 name 数据库名称 用于迁移前评估 connectAddress 连接地址 用于迁移前评估 dbType 数据库类型 用于迁移前评估 dbName 数据库名称 用于迁移前评估 dbVersion
（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可
执行脚本后报错：连接到远程服务器失败，且登录凭证信息正确 问题现象 执行脚本后报错，错误信息为“[ERROR] Failed to update hosts on xxx.xxx.x.xx: [xxx.xxx.x.xx] 连接到远程服务器 xxx.xxx.x.xx 失败有关详细信息，请参阅
端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置，成本预估是华为云推荐规格所需费用；单击主机资源操作列的“更多>更改目的端规格”，可以修改目的端主机规格、磁盘存储类型和资源总用量。 步骤四：创建可用区迁移工作流 完成已上步骤一~步骤三的操作后，即可创建跨可用区迁移工作流。
接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量推送到所有源端主机的hosts文件中。 脚本说明 脚本是基于Shell语言开发，仅
接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量追加写入到所有源端主机的hosts文件中。 脚本说明 脚本是基于Powershel
凭据，该凭证必须为json格式文件，且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。
C内，可以填写私有IP，否则需要填写公网IP。 端口 主机开放端口。 Windows主机默认为5985端口，无法修改。 Linux主机默认22端口，可根据实际情况修改。 凭证 选择主机凭证，如未提前在Edge上添加源端主机凭证，请前往Edge控制台添加，并同步至迁移中心。 添加成
持人员。 修改数据源名称失败。 刷新采集项列表查看该数据源是否存在，或联系技术支持人员。 重新采集失败。 刷新采集项列表查看该采集项是否存在，或联系技术支持人员。 数据源配置错误。 检查数据源配置是否正确。 重新采集数据源失败。 请检查采集方式是否为API采集，且状态为已完成。 删除数据源失败。
前提条件 已创建血缘采集任务，且状态为“已完成”。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。
窗口。 为迁移阶段自定义名称和说明，单击“添加步骤”，选择步骤类型，为步骤自定义名称和说明，单击“确认”按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后，单击“确认”按钮，完成迁移阶段的添加。 只有自行添加的阶段，可以进行修改、删除操作，模板中的迁移阶段无法进行修改和删除。 添加步骤
c01”，填写的文件夹为“/test”，则日志文件存放路径为：obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件；内容校验结果存放路径为：obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
的端桶所在区域为华北-北京四，则输入“obs.cn-north-4.myhuaweicloud.com”。 说明： 可在OBS桶的基本信息查看。 指定前缀 将对象迁移到指定前缀，例如：源端对象路径为/A/B/C.txt，目的端前缀配置为/D，迁移后目的端对象路径为/D/A/B/C
创建迁移工作流，提升用户云迁移效率。 多源采集 迁移中心支持多种类的资源采集，包括：云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进行调研评估，为用户上云提供配置推荐和方案设计。 可视化管理 为了让用户对迁移进度一目了然，迁移中心提供一站式工作流
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
