检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
抽样分区校验 Doris 全量校验 日级增量校验 小时级增量校验 Hbase 全量校验 指定时间校验 ClickHouse 全量校验 阿里云云数据库ClickHouse 全量校验 CloudTable(HBase) 全量校验 指定时间校验 CloudTable(ClickHouse)
证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码；网段限制填写网段地址，可以是单个IP地址或IP地址段。
sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类 getNetcardsInfo.sh /Edge/to
字母和数字）”，也可以自定义名称。 元数据连接 选择步骤12.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可
字母和数字）”，也可以自定义名称。 元数据连接 选择步骤12.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可
这些返回值通常包含丰富的资源数据。 解析数据：MgC将返回的数据进行解析，提取关键信息，如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，注册华为
"ecs:cloudServers:reboot", "ecs:cloudServers:updateMetadata", "ecs:serverPasswords:manage", "ecs:serverKeypairs:delete", "ecs:diskConfigs:use", "ecs
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
指定日期校验 Doris 全量校验 日级增量校验 小时级增量校验 Hbase 全量校验 指定时间校验 ClickHouse 全量校验 阿里云云数据库ClickHouse 全量校验 CloudTable(HBase) 全量校验 指定时间校验 CloudTable(ClickHouse)
exe”、“rda-collector-platform.exe”、“rda-collector-kubernetes.exe”、“rda-collector-database.exe” 的程序，分别选中后再单击结束任务。 图5 结束任务 通过运行脚本结束单个采集器插件程序（以停止采集插件 rda-storage-collector
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”，进入迁移准备页面。 选择元数据管理，在大数据血缘分析页签，单击“创建血缘采集任务”，弹出创建血缘采集任务窗口。
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。 使用须知 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 在数据迁移时，如果重复迁移分区数据时提示错误信息："Do not support update partition SerDeInfo
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 使用须知 在进行指定分区数据迁移的场景下，由于MaxCompute在创建表时会自动将表名转换为小写，因此在迁移过程中，请确保Excel文件中的库表名称与MaxC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
