检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重启Linux采集器 登录MgC控制台,确保当前MgC Agent没有深度采集、内网扫描、VMware采集等任务在执行中。如果有,请等待采集任务完成后再进行后续操作。 登录到安装MgC Agent的Linux主机。 执行如下命令,应用环境变量。 source /etc/profile
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。
Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。
Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。
在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏
阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。
个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下,一个桶资源的目的端前缀只能有一个,但是源端前缀可以有多个。 操作步骤 登录迁移中心管理控制台。在左侧导航栏选择“设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。
合理规划任务以避免跨天运行。 在进行ClickHouse数据校验时,如果源端阿里云的ClickHouse版本为21.8.15.7,目的端华为云的ClickHouse版本为23.3.2.37,由于这两个版本在处理IPv4和IPv6字段类型以及相关函数计算结果上存在差异,因此无法进行字段校验。
安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
证的添加方式请参考添加资源凭证,类型选择“大数据-Doris”。 数据库地址 填写连接到源端Doris集群部署的服务器IP地址。 数据库端口 填写连接到源端Doris集群部署的服务器的端口。默认为3306。 数据库名 填写源端Doris数据库名称。 表2 HBase连接参数配置说明
根据表1,选择步骤类型,为步骤自定义名称和说明,单击“确认”按钮,添加步骤完成。 表1 步骤类型说明 步骤类型 说明 卡点 迁移到该步骤时,需要手动确认。 返回迁移阶段,查看添加的步骤。 只有自行添加的步骤,可以进行修改、删除操作,模板中的步骤无法进行修改和删除。 父主题: 迁移工作流
根据表1,选择步骤类型,为步骤自定义名称和说明,单击“确认”按钮,添加步骤完成。 表1 步骤类型说明 步骤类型 说明 卡点 迁移到该步骤时,需要手动确认。 返回迁移阶段,查看添加的步骤。 只有自行添加的步骤,可以进行修改、删除操作,模板中的步骤无法进行修改和删除。 父主题: 迁移工作流
件系统。 注意事项 一个方案只能创建一个迁移工作流。 一个方案最多添加100个文件存储。 同一方案下的目的端文件存储必须处于同一区域。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。
全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 前提条件 已完成文件存储批量迁移方案配置。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“迁移实施>迁移工作流”,进入迁移工作流页面。
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
创建内网采集任务 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“发现>内网发现”,进入创建内网发现任务页面。 图1 内网发现 根据表1,配置内网发现任务参数。 表1 内网发现任务参数说明
)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心 MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图,如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商
立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在
前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_linux.sh”的文件,然后将以下脚本示例的内容复制到文件中。如果您已经通过SSH连接到源端Linux主机,可以直接使用vim创建和编辑脚本文件,步骤如下: 在Vim编辑器中按 i