检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象,无论对象的大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名
据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
所有凭证非AK/SK认证方式 选择AK/SK认证方式的凭证。 MSE配置文件无效 请检查所用凭证和所选区域是否正确。 配置文件格式不正确 使用上传正确的文件格式。 获取Nacos的accessToken失败 请检查配置信息中填写的用户名和密码是否正确。 解析Nacos鉴权信息失败 请联系技术支持人员或提交工单。
在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域,同名覆盖方式选择“条件覆盖”,其余参数配置与步骤一创建的工作流保持一致。配置完成后,启动新的存储迁移工作流,开始增量迁移。 图1 选择同名覆盖方式 步骤三:灰度切流(可选)
需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。
前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、大数据、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥
MgC Agent(原Edge)安装完成后,无法启动 Windows版本 Linux版本 父主题: 常见问题
Agent安装完成后,无法启动。 问题分析 出现该问题通常是因为安装MgC Agent的主机后台进程过多或可用CPU太小,导致MgC Agent在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动MgC Agent进程: 执行如下命令,进入MgC Agent安装目录中的scripts目录。
cn-south-1.myhuaweicloud.com:443 ECS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443
在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。 单击源端迁移准备度列的“配置”,弹出配置窗口。 根据表2,配置参数。 表2 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 迁移中心Agent绑定 选择在源端环境安装的MgC Agent。 接入IP
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell
在资源采集页面的主机资源列表。单击需要进行深度采集的主机迁移中心Agent绑定列的“配置”按钮,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 迁移中心Agent绑定 选择在源端环境安装的MgC Agent。 接入IP 选择主机接入IP,
后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖
需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制:
为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。 根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明
在资源采集页面的主机资源列表。单击需要进行深度采集的主机迁移中心Agent绑定列的“配置”按钮,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 迁移中心Agent绑定 选择在源端环境安装的MgC Agent。 接入IP 选择主机接入IP,
步骤添加华为云凭证。 在MgC Agent(原Edge)控制台的总览页面,单击页面右上角的“查看配置”按钮,右侧弹出连接配置窗口。 在华为云账号框中,单击“配置”按钮。 在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接
为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。 根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明