检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
旧版 权限管理 配置管理 上云调研 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移 大数据校验
新版 权限管理 配置管理 调研评估 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令,查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\localhost\Shell\MaxMemoryPerShellMB 如果配置的内存值过小,可以使用以下命令将运行内存增加到1024
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。
单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。
的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
最佳实践 配置MgC Agent(原Edge)插件JVM参数
在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域,同名覆盖方式选择“条件覆盖”,其余参数配置与步骤一创建的工作流保持一致。配置完成后,启动新的存储迁移工作流,开始增量迁移。 图1 选择同名覆盖方式 步骤三:灰度切流(可选)
登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求:
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 旧版
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 新版
所有凭证非AK/SK认证方式 选择AK/SK认证方式的凭证。 MSE配置文件无效 请检查所用凭证和所选区域是否正确。 配置文件格式不正确 使用上传正确的文件格式。 获取Nacos的accessToken失败 请检查配置信息中填写的用户名和密码是否正确。 解析Nacos鉴权信息失败 请联系技术支持人员或提交工单。
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到