检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果源端为MRS Hive且在安全集群下(开启Kerberos认证),还需要在MgC Agent上添加源端Hive Metastore凭证,类型选择“大数据-Hive Metastore”,认证方式选择“用户名/密钥”。
创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。。
MgC服务侧权限要求:云账号需要具备对应权限才能使用MgC和访问MgC调研数据,MgC相关权限请参考权限管理。 数据采集项透明性:数据采集的具体项目参见采集项列表。 具备审计日志:导出操作会生成日志记录,这些日志可以用于审计和追踪导出活动,确保操作的透明性和可追溯性。
文件存储 网络 负载均衡(ELB)(目前只支持CLB类型) 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 存储 对象存储 文件存储 腾讯云 主机 数据库 - 存储 对象存储 文件存储 Azure 主机 容器 数据库 - 存储 对象存储 文件存储 中间件
注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。
准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。
AWS账号凭证准备 提前获取待采集资源所属AWS账号的AK/SK,方法请参考获取AWS访问密钥(Access keys)。 添加源端凭证 在MgC控制台添加AWS账号凭证作为采集凭证,方法请参考添加凭证。
网络 负载均衡(ELB)(目前只支持CLB类型) 公网域名 内网域名 弹性公网IP 公网NAT网关 路由表 安全组 虚拟私有云 存储 对象存储 文件存储 腾讯云 主机 数据库 - 存储 对象存储 文件存储 Azure 主机 容器 数据库 - 存储 对象存储 文件存储 中间件 Redis
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。
在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。
注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。
模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据
模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据
OMS.01006 对象列表文件太大 请修改列表文件,使其小于300 MB。 OMS.01007 对象列表文件元数据未找到 请检查列表文件的元数据。 OMS.01008 URL解码失败 请检查列表文件中的url是否正确编码。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。
配置前,需要您手动将包含认证密钥的.keytab文件上传至执行机。 keytab文件地址:输入.keytab文件在执行机的存放地址。 keytab文件用户名:输入.keytab文件对应的用户名。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。
脚本会自动记录操作日志,提示异常信息,并生成操作总结。 在完成Linux主机迁移后,执行此脚本以恢复源端主机的hosts配置到迁移前的状态。 父主题: 批量修改与还原源端Linux主机的Host配置
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。