检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集原理：连接数据库，基于数据库的查询语句进行采集。 中间件采集 权限要求： Redis：使用具有基本访问权限的普通账号即可。 Kafka：需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理：利用Java语言编写的应用程序，集成对应中间件的SDK（Software
x √ 创建用户并加入用户组 创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥（AK/SK） 账号和IAM用户的访问密钥是单独的身份凭证，即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
在资源采集页面的主机资源列表，勾选待迁移的主机，单击列表上方的关联到应用按钮，弹出关联到应用窗口。如果在创建在线调研任务时，已经配置应用参数，可以跳过该步骤。 已提前创建应用，在下拉列表中选择要关联的应用，单击“确定”。 未提前创建应用，单击“新建应用”，输入自定义的应用名称和描述，选择业务场景、使用场景和目的端
（可选）网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时，需要进行额外的网络配置，以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络，方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
功能概述 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
保留CSV文件中的第一行不变，从第二行开始，每行填写一个表的迁移信息，格式为“{MC项目名},{表名}”，其中MC项目名代表MaxCompute项目名称，表名代表具体的表名称。 须知： 每行的“MC项目名”和“表名”之间使用英文逗号隔开，不要使用空格或其他分隔符。 每添加完一个表的信息后，使用回车键换行。
发生变化的元数据。仅源端存在和仅目的端存在的元数据，都不会被同步或处理。 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移：只需要配置一条连接到DLI SQL队列的连接。 数据迁移：需要配置两条连接，分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 图3 任务实例管理 元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
Agent（原Edge）使用WinRM服务连接源端主机，进行脚本传输和执行。出现该问题是因为执行脚本的内存不足，导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令，查看PowerShell运行时的内存配置参数。 Get-Item WSMa
登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”，进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框中的“导入>工具采集结果”，弹出导入工具采集结果窗口。 图1 导入工具采集结果 单击导入窗口的“添加文件”，将工具采集结果的json文件上传至迁移中心。
或端口不通。 问题分析 可能导致该问题的原因如下： 源端主机的IP或端口异常。 如果源端为Windows主机，可能未开启WinRM服务。 您可以通过查看MgC Agent（原Edge）的深度采集日志文件确认具体的报错原因，深度采集日志文件的存储路径为：C:\Edge\tools\
已通过资源采集的公网采集，完成对象存储资源的发现与采集。 （可选）已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时，待迁移桶列表中的资源所属的平台必须和所选的源端平台一致，且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下，一个桶资源的目的端前缀只能有一个，但是源端前缀可以有多个。
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和迁移工具（Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据，请添加如下参数：
配置。 在基础信息区域，输入自定义的工作流名称和描述。 在迁移方案区域，选择创建的文件存储迁移方案。选择方案后，可以看到该方案的配置概览。单击“查看详情”，可以查看该方案的更多信息。 在迁移集群区域，选择迁移使用的集群。默认使用迁移方案中配置的集群，您也可以在下拉列表中重新选择集
配置。 在基础信息区域，输入自定义的工作流名称和描述。 在迁移方案区域，选择创建的文件存储迁移方案。选择方案后，可以看到该方案的配置概览。单击“查看详情”，可以查看该方案的更多信息。 在迁移集群区域，选择迁移使用的集群。默认使用迁移方案中配置的集群，您也可以在下拉列表中重新选择集
已通过资源采集的公网采集，完成对象存储资源的发现与采集。 （可选）已对待迁移的对象存储资源进行深度采集。 注意事项 创建方案时，待迁移桶列表中的资源所属的平台必须和所选的源端平台一致，且一个方案对应一个目的端区域。 一个源端桶资源可以关联多个方案。 在一个方案下，一个桶资源的目的端前缀只能有一个，但是源端前缀可以有多个。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
