检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果是首次创建迁移集群，需要您同意华为云账号进行相关的委托授权。单击，可以查看委托权限所包含的细粒度权限。 根据表1，配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
的端组件选择“数据湖探索 DLI”，任务类型选择“增量数据迁移”，单击“下一步”，进入详细配置页面。 根据表1，配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数（字母和数字）”，也可以自定义名称。
检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令，查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\localhost\Shell\MaxMemoryPerShellMB 如果配置的内存值过小，可以使用以下命令将运行内存增加到1024
查看主机规格 安装驱动 源端为Linux主机，请参考以下任一方案安装驱动。 XEN实例变更为KVM实例（Linux-自动配置）中的步骤1~步骤2 XEN实例变更为KVM实例（Linux-手动配置）中的步骤1~步骤3 XEN实例变更为KVM实例（Linux-批量自动配置）中的步骤1~步骤2
主机深度采集 完成主机资源发现后，可以按照以下步骤对主机资源进行深度采集。 在主机列表，单击操作列的“配置凭证”，弹出配置窗口。 根据表2，配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP，可以为公网IP，也可以是私有IP。
下载并安装MgC Agent（原Edge） 安装Windows版本 安装Linux版本
下载并安装MgC Agent（原Edge） 安装Windows版本
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
分别创建源端Delta统计任务和目的端Delta统计任务并执行，方法请参考创建统计任务并执行校验。需要注意，在配置任务时，命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数，参数值为所有元数据连接的IP地址和端口，用英文逗号分隔。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”，进入配置管理页面。 选择“项目管理”页签，单击“创建项目”，右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中，仔细查看并了解项目类
据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”，进入配置管理页面。 选择“项目管理”页签，单击“创建项目”，右侧弹出创建新项目窗口。
前提条件 已在源端安装迁移中心Agent，并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括：私有云、主机、大数据、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥
云边协同 添加资源凭证 配置OBS桶 MgC Agent管理 事件记录
最佳实践 配置MgC Agent（原Edge）插件JVM参数
在全量迁移完成后，参考创建存储迁移工作流，创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域，同名覆盖方式选择“条件覆盖”，其余参数配置与步骤一创建的工作流保持一致。配置完成后，启动新的存储迁移工作流，开始增量迁移。 图1 选择同名覆盖方式 步骤三：灰度切流（可选）
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题： 旧版
大数据-Hive Metastore凭证文件获取方法 MgC Agent（原Edge）安装端口被占用，导致无法安装，如何处理？ AK/SK验证失败，如何处理？ Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时，凭证列表数据缺失
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
