检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。
填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。 须知: 元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。
填写访问MaxCompute使用的Quota名称。 否 mgc.mc2dli.data.migration.mc.external.table false true 设置是否迁移外表。 false不迁移外表。 true迁移外表。 否 sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。
根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。设为跨源表后不再显示该表一致性校验结果。 说明(可选) 您可以输入用于数据表的说明。 参数配置完成后,单击“确认”按钮,完成数据表新增。在库表清单列表中可以查看新增的数据表。
配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定的资源目录路径进行采集,不输入则默认采集全桶资源,单击“确定”保存前缀设置。 完成深度采集配置和添加前缀后,单击操作列的“深度采集”,系统开始进行对象存储资源的深度采集。支持进行多次深度采集。当采集状态为采集完成
配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定的资源目录路径进行采集,不输入则默认采集全桶资源,单击“确定”保存前缀设置。 完成深度采集配置和添加前缀后,单击操作列的“深度采集”,系统开始进行对象存储资源的深度采集。支持进行多次深度采集。当采集状态为采集完成
根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。设为跨源表后不再显示该表一致性校验结果。 说明(可选) 您可以输入用于数据表的说明。 参数配置完成后,单击“确认”按钮,完成数据表新增。在库表清单列表中可以查看新增的数据表。
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MgC。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。
配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定的资源目录路径进行采集,不输入则默认采集全桶资源,单击“确定”保存前缀设置。 完成深度采集配置和添加前缀后,单击操作列的“深度采集”,系统开始进行对象存储资源的深度采集。支持进行多次深度采集。当采集状态为采集完成
参数说明和自定义参数说明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 主机(含深度采集) 数据库(含深度采集) 容器(含深度采集) 平台(含深度采集) 存储 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
参数说明和自定义参数说明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
网络配置 迁移准备度检查失败,失败原因:主机IP或端口不可达 迁移准备度检查失败,失败原因:用户名和密码错误 迁移准备度检查失败,失败原因:下发命令到Edge失败 迁移准备度检查失败,失败原因:主机端口不可达、防火墙规则不正确或访问权限不足 深度采集失败,失败原因:源端winrm服务没开启或IP无法连通或端口不通
迁移中心Agent概述 迁移中心Agent (MgC Agent,原Edge)是一款用于配合迁移中心进行源端资源发现与采集的工具,同时MgC Agent还提供了工作流模块,用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具,其主要作
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。
手动添加资源 目前支持手动添加的资源类型包括:主机、Oracle数据库。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 添加主机 登录迁移中心管理控制台。 单击