检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0。 注意： 在创建阿里云Hive校验任务时，请根据源端数据量和EMR Master节点的规格，合理设置并发连接数。建议按照以下两个条件进行设置： 条件一：同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二：任务分配的总资源不超过执行队列资源。计算如下： 内存：num-executors
0。 注意： 在创建阿里云Hive校验任务时，请根据源端数据量和EMR Master节点的规格，合理设置并发连接数。建议按照以下两个条件进行设置： 条件一：同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二：任务分配的总资源不超过执行队列资源。计算如下： 内存：num-executors
负，则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
负，则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
Linux系统：通过SSH协议从MgC Agent访问Linux主机，将Shell脚本传输至/root/rda目录并执行，以自动化采集系统信息。 网段扫描 权限要求：被扫描节点开放对应的远程访问端口（内网可访问或对MgC Agent所在主机开放白名单）。默认情况下Windows开放3389端口，Linux开放22端口，也可以单独指定。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
MgC Agent管理 您可以在MgC控制台监控和管理当前项目下，与MgC建立连接的MgC Agent（原Edge）。 前提条件 已在源端安装迁移中心Agent，并与迁移中心连接成功。 查看MgC Agent列表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。
目录路径。格式为：文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件，跳过源端文件，保留目的端文件。
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
解冻操作可能会产生一定的费用，由源端云厂商收取，计费规则请咨询源端云厂商。 并发子任务数 用户自定义。配置的数目不能超过可用迁移节点数x10。 例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 列表迁移文件 列表文件存放地址必须与目的端桶处于同一区域。 列表文件类型必须为
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
连接迁移中心 将MgC Agent（原Edge）与云端MgC控制台建立连接，协助MgC控制台进行资源采集和执行迁移工作流任务。 连接成功后，您可以在迁移中心控制台进行以下操作： 创建资源采集任务：通过公网发现源端多种类型资源，支持对主机、容器、对象存储和数据库等资源进行深度采集。
OMS-Workflow.0023 节点状态异常 请检查集群节点的安全组规则放通的端口是否满足要求。集群安全组配置要求请查看 资源类型和安全组配置说明。 OMS-Workflow.0024 集群不存在 请在集群列表检查该集群是否存在。 OMS-Workflow.0025 节点不存在 请在对应集群检查该节点是否存在。
使用CSV文件中提供的密码进行自动登录。 脚本执行机环境配置 确保执行脚本的Linux主机上安装了以下必要的工具和命令： SSH工具：用于建立与远程主机的安全连接。 sed工具：用于编辑和修改/etc/hosts文件内容。 setsid命令：用于在SSH连接中避免交互需求（通常用于避免密码输入时的交互）。
行校验，需要分开执行校验任务，确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时，不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机，会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制：
用，同时网络环境允许该端口的通信。 该端口的具体用途如下： Linux主机：用于数据传输和控制端口，建立传输通道和文件数据传输。 Windows主机：用于传输链路初始化端口，建立数据传输通道。 数据传输控制端口 Windows主机用于传输任务控制信号的端口，默认值8899，不支持修改。
用，同时网络环境允许该端口的通信。 该端口的具体用途如下： Linux主机：用于数据传输和控制端口，建立传输通道和文件数据传输。 Windows主机：用于传输链路初始化端口，建立数据传输通道。 数据传输控制端口 Windows主机用于传输任务控制信号的端口，默认值8899，不支持修改。
项目类型选择“复杂迁移（大数据迁移）”，输入自定义项目名称，单击“创建”。 图2 创建大数据迁移项目 创建项目完成后，参考连接迁移中心，将MgC Agent与云端MgC控制台建立连接。 连接成功后，需要在MgC Agent上分别添加源端阿里云 ClickHouse凭证和目的端CloudTable ClickHous
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
