检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文将详细介绍如何使用前缀列表文件（包含多个前缀的列表文件）来筛选并批量迁移OBS桶内的对象。 准备工作 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。 在MgC控制台创建应用迁移项目。 将源端云平台账号对应的AK/SK添加至MgC，作为采集源端桶的凭证。认证方式选择AK/SK
Linux主机默认22端口，可根据实际情况修改。 凭证 选择源端主机凭证，如未提前在MgC Agent上添加源端主机凭证，请前往MgC Agent控制台添加，并同步至迁移中心。 添加成功后，在主机资源列表，可以查看添加的主机资源。 父主题： 采集主机资源
钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后，单击“确认”按钮，完成迁移阶段的添加。 只有自行添加的阶段，可以进行修改、删除操作，模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面，将鼠标移动到步骤名称上，选择添加前置步骤/添加后置步骤，弹出添加步骤窗口。
钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后，单击“确认”按钮，完成迁移阶段的添加。 只有自行添加的阶段，可以进行修改、删除操作，模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面，将鼠标移动到步骤名称上，选择添加前置步骤/添加后置步骤，弹出添加步骤窗口。
创建表组并添加数据表 将源端数据表加入表组中，为后续对数作业做准备。 使用须知 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组。
资源采集常见问题和处理方法 资源采集相关问题与处理方法参下表。 问题 处理建议 该任务名已存在。 请重新输入任务名。 创建采集任务失败。 请联系技术支持人员或提交工单。 采集项所关联的采集任务不存在。 请为采集项重新关联采集任务。 采集项重复。 请检查采集任务中是否存在相同的采集项，或联系技术支持人员。
码格式修改UTF-8编码的方法。 方法一（适用于Windows操作系统） 选择csv文件，鼠标右键，打开方式选择“记事本”。 在记事本窗口左上角选择“文件 > 另存为”，在弹出的“另存为”窗口中，找到编码下拉菜单，选择“UTF-8”，然后保存即可。 方法二（适用于Windows操作系统）
文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见创建弹性文件系统或创建高性能文件系统。 注意事项 一个方案只能创建一个迁移工作流。 一个方案最多添加100个文件存储。 同一方案下的目的端文件存储必须处于同一区域。
文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见创建弹性文件系统或创建高性能文件系统。 注意事项 一个方案只能创建一个迁移工作流。 一个方案最多添加100个文件存储。 同一方案下的目的端文件存储必须处于同一区域。
AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据，该凭证必须为json格式文件，且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
如果源端是Windows主机，需要开启WinRM远程访问，并与安装MgC Agent的主机建立连接，方法请参考Windows服务器WinRM服务配置与故障排查。 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。 在MgC控制台创建项目。 使用须知 在创建主机迁移
Agent的Linux主机，并确保该Linux主机满足以下要求： 可以连接外网，并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名。 安全组的出方向规则中，需要包含8883端口。 操作系统为：CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能，推荐规格不小于8U16G。
据存储系统。 获取方法：需要您根据需求自行获取并编译，方法请参考Spark Connector。 购买弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。购买方法请参考创建弹性资源池。 创建完弹性资源池后，需要为弹性资源池分别添加一条通用队列和一条
据存储系统。 获取方法：需要您根据需求自行获取并编译，方法请参考Spark Connector。 购买弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。购买方法请参考创建弹性资源池。 创建完弹性资源池后，需要为弹性资源池分别添加一条通用队列和一条
当您迁移Windows主机时，需要确保源端主机能够解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量追加写入到所有源端主机的hosts文件中。
Agent（原Edge）的Windows主机，并确保该Windows主机满足以下要求： 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。
Agent（原Edge）的Windows主机，并确保该Windows主机满足以下要求： 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。
Agent（原Edge）的主机有哪些要求？ 安装Windows版本的主机要求如下： 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。
当您迁移Linux主机时，需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量推送到所有源端主机的hosts文件中。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
