检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品咨询 迁移中心使用权限配置 MgC支持的区域 使用迁移中心进行迁移前,需要做哪些准备工作? 提示“请检查当前用户是否具有IAM权限”,如何处理? 无法签署隐私声明和使用迁移中心 如何防止采集数据泄露? 调研采集过程是否会对源端业务产生影响?
数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限? 转换CSV文件编码为UTF-8 Windows主机进行深度采集后磁盘信息为空或磁盘信息错误 Windows主机进行深度采集后系统镜像结果错误
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
Agent安装完成后,无法启动。 问题分析 出现该问题通常是因为安装MgC Agent的主机后台进程过多或可用CPU太小,导致MgC Agent在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动MgC Agent进程: 执行如下命令,进入MgC Agent安装目录中的scripts目录。
选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。 图1 创建血缘采集任务 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
MgC支持的区域 MgC部署在“华南-广州”区域。 MgC为Region级服务,但提供了全局服务的能力。即在一个Region开通服务后,支持所有Region的迁移。 父主题: 产品咨询
门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“共享访问签名” , 设置页面部分必要参数,参见表1 设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含
需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制:
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
cn-south-1.myhuaweicloud.com:443 ECS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443
应。 在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hive/config文件夹下可以获取core-site.xml、hivemetastore-site
资源类型 云服务 Action 最小权限策略 主机 EC2 ec2:DescribeInstances AmazonEC2ReadOnlyAccess ec2:DescribeAddresses ec2:DescribeImages ec2:DescribeVolumes cloudw
未添加,请参考在MgC Agent添加凭证,添加对应类型的凭证,添加后会自动同步到MgC。 凭证同步失败:在MgC控制台左侧导航树,选择“配置管理 > 凭证管理”,单击MgC Agent名称,查看在MgC Agent添加的凭证是否同步到MgC。如果未同步,请前往MgC Agent
未添加,请参考在MgC Agent添加凭证,添加对应类型的凭证,添加后会自动同步到MgC。 凭证同步失败:在MgC控制台左侧导航树,选择“配置管理 > 凭证管理”,单击MgC Agent名称,查看在MgC Agent添加的凭证是否同步到MgC。如果未同步,请前往MgC Agent
目。 在元数据采集区域,单击“查看库表清单”,进入元数据采集页面的库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。
在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。
登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求:
在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。 根据表1,配置参数。 表1 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
卸载Windows版本 请根据安装MgC Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。