检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。 在基础信息区域,单击展开“高级选项”,当开启增量迁移并且选择自动迁移模式时,自动增量迁移次数支持修改。 配置增量迁移 增量迁移配置说明参见下表。 表3 增量迁移配置 参数 说明 增量迁移同名覆盖方式 与迁移配置中的同名覆盖方式相同。
据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”,进入迁移准备页面。 选择元数据管理,单击创建元数据同步任务按钮,右侧弹出创建任务-元数据同步窗口。
创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表
在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 参考创建存储迁移工作流,创建全量迁移任务。 步骤二:创建增量迁移工作流 在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增
使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数
可用区(AZ)迁移有哪些注意事项? 密码一致性 如果源端Windows主机安装了 Cloudbase-Init 插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器
MgC Agent(原Edge)设备离线原因 MgC控制台显示设备状态为离线,请排查以下原因: 请检查安装MgC Agent的主机是否仍然具备访问公网的能力。 请检查MgC Agent运行进程是否正常。 父主题: 常见问题
情况选择。 - 迁移方式 选择迁移方式。 全量迁移:迁移源端文件存储服务地址+路径内的全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30
首次使用大数据校验功能时,需要先启用MgC Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择
创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。
情况选择。 - 迁移方式 选择迁移方式。 全量迁移:迁移源端文件存储服务地址+路径内的全部数据。 列表迁移:通过列表文件过滤迁移,只迁移列表文件中的对象。 - 列表路径 迁移方式选择列表迁移时,填写列表文件所在路径。迁移方式选择全量迁移时,无需填写。 列表文件需要满足如下要求: 列表文件大小不能超过30
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,M
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
首次使用大数据校验功能时,需要先启用MgC Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择
任务状态为成功后,根据不同资源类型,进行后续操作。 主机资源需要先完成深度采集或源端迁移准备度检查,再进行迁移方案设计或迁移方案配置。 容器资源需要先完成深度采集,再进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、P
内网采集权限与原理 主机深度采集 权限要求: Windows系统:需要提供具有Administrator权限的账号。 Linux系统:需要提供root账号。 采集原理: Windows系统:通过WinRM服务从MgC Agent访问Windows主机,执行PowerShell脚本采集系统信息。
库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接
用是执行数据采集和数据迁移。在特定的迁移场景中,这些操作需要在客户自己的云网络环境中执行,MgC Agent扮演着连接MgC和客户网络的桥梁角色,确保数据迁移过程的顺畅和安全。 MgC Agent在大数据迁移、大数据校验使用场景下的逻辑架构图,如图1所示。 图1 大数据使用场景逻辑架构图
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。