检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景 委托对象 自定义策略名称 细粒度最小使用权限 主机标准迁移模板 - 导入OBS桶里的目的端配置 MgC MgC ImportTargetConfigurationAgencyPolicy obs:object:GetObject(获取对象内容、获取对象元数据) obs:buc
估”状态的主机进行风险评估。 如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。勾选完成后,单击“批量评估”按钮,在弹出的对话框中确认待评估主机数量无误后
估”状态的主机进行风险评估。 如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。勾选完成后,单击“批量评估”按钮,在弹出的对话框中确认待评估主机数量无误后
创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。 创建源端统计任务时,选择源端Doris连接。 创建目的端统计任务时,选择目的端Doris连接。
可以为目的端磁盘调整提供参考。 通过绑定目的端进行磁盘缩容 单击左侧导航栏的“迁移设计>迁移方案设计”,进入迁移方案设计页面。 单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。
件路径。对象列表文件的约束与限制如下: 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。
创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。 创建源端统计任务时,选择源端Doris连接。 创建目的端统计任务时,选择目的端Doris连接。
配置完成后,单击“下一步:确认调整”。确认调整无误后,单击“确定”,完成目的端磁盘分区调整。 单击右下角的“下一步:目的端配置”,进入目的端配置页签。 在已有服务器中,选择在MgC绑定或者新创建的同名目的端(目的端主机名称可以在迁移工作流中单击“创建目的端主机”步骤查看),单击“下一步:确认配置”,进入确认配置页签。
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
网络配置及迁移端口 确保源端和目的端的网络连接和端口开放满足迁移要求,详情请参见网络配置及端口开放。 前提条件 已完成主机资源采集。 已将待迁移的主机资源关联应用,并对应用内的主机进行规格评估。规格评估成功后,通过购买资源,批量购买目的端。如果待迁移应用中的主机已绑定目的端,则无需进行规格评估。
选择“否”:迁移工作流在创建目的端主机步骤不会设置主机系统盘和数据盘为加密盘。 选择“是”:迁移工作流会在创建目的端主机步骤自动设置主机系统盘和数据盘为加密盘。 须知: 该功能不适用于已绑定目的端的主机。 启用该功能后,会对同一工作流内的所有新建目的端主机磁盘进行加密,且采用同一个加密密钥。
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移。
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后台处理:即使进度没有实时更新,迁移过程也可能在后台继续进行。进度条的更新可能存在延迟。 解决方案