检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
无需重新创建。 为每个待迁移的源端桶,创建一个对应的前缀列表文件(即一个桶对应一个前缀列表文件),前缀列表文件要求如下: 文件格式为.txt,大小不超过2 MB。 每行只能包含一个前缀,每个前缀的长度不超过1024个字符。 前缀总数(即行数)不超过1000。 使用须知 支持的区域
对象列表文件行数不超过10000行。 前缀迁移 仅支持云平台数据类型。 在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀
对象列表文件行数不超过10000行。 前缀迁移 仅支持云平台数据类型。 在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀
如果桶的迁移方式为“前缀迁移”,在“前缀路径”添加对象名称或者名称前缀,单击“确定”保存前缀。 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 所有待迁移桶的迁移
最大长度(路径+指定前缀)限制为4096字节。 最大文件夹长度限制为255字节。 SMB -> NAS NAS -> OBS 最大长度(路径+指定前缀)限制为1023字节。 最大文件夹长度限制为1023字节。 SMB -> OBS OBS -> SMB 最大长度(路径+指定前缀)限制为32767字节。
com”。 说明: 可在OBS桶的基本信息查看。 指定前缀 可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。 根据表4,进行迁移配置。 表4
com”。 说明: 可在OBS桶的基本信息查看。 指定前缀 可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。 根据表4,进行迁移配置。 表4
com”。 说明: 可在OBS桶的基本信息查看。 指定前缀 可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。 根据表4,进行迁移配置。 表4
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 NAS到NAS迁移和割接方案 文件存储批量迁移 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定的资源目录路径进行采集,不输入则默认采集全桶资源,单击“确定”保存前缀设置。 完成深度采集配置和添加前缀后,单击操作列的“深度采集”,系统开始进行对象存储资源的深度采集。支持
取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定的资源目录路径进行采集,不输入则默认采集全桶资源,单击“确定”保存前缀设置。 完成深度采集配置和添加前缀后,单击操作列的“深度采集”,系统开始进行对象存储资源的深度采集。支持
域名:/ xxx 无论是全量迁移还是列表迁移,源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复,都遵循前缀匹配规则。 例如,已有组合是地址192.168.0.1:/a和路径/abc/a,那么添加或修改另一个地址为192.168.0.1:/a和路
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
主机迁移权限配置 概述 创建一个新的用户组migration_users,赋予MgC和SMS所需要的最小权限,后续使用的AK/SK权限以此为准。 用户通过属于admin组的用户,创建属于migration_users组的、仅支持编程访问的用户mgc-user(同时勾选访问密钥,在
线下主机迁移上云 适用场景 本文介绍如何使用迁移中心MgC将线下主机迁移到华为云。 准备工作 建议在源端内网环境中准备一台用于安装Edge的Windows主机,并确保该Windows主机满足以下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。
主机迁移网络要求和配置 背景说明 主机迁移过程中主要涉及的流量分为两部分:控制流和数据流。 控制流:控制流是指源端主机与云服务管理面之间的通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解
准备工作 为了确保迁移过程的顺利进行,需要完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
华为云主机跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云可用区的主机搬迁到其他可用区,适用于大批量主机跨可用区迁移。30台以下的小规模、单批次迁移请使用主机一站式跨可用区迁移。 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。