检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么有时候迁移速度会很慢? OMS当前迁移速率上限为500Mbit/s。若需更高的迁移效率,建议使用迁移中心MgC的存储迁移工作流进行迁移。迁移中心MgC提供独享的集群资源,能够动态扩展迁移性能,最高支持20Gbit/s带宽。 迁移速度的影响因素很多,比如迁移的对象大小、正在迁
OMS根据源端厂商对象存储服务和华为云对象存储服务接口及协议,进行认证和一致性校验,涉及MD5、SHA1、CRC64以及基于MD5的HMAC算法的使用,存在因源端发生hash碰撞,导致要迁移的数据和实际迁移的数据不一致的风险,为确保数据一致性,可以在迁移后再次对源端、目的端数据进行完整的内容校验。
联系源端云服务提供商,修改源端对象存储对访问频率的限制值以满足迁移的要求。 通过API创建任务,并采用较低的thread_num值(迁移任务使用的线程数),以降低迁移线程访问频率。 父主题: 异常恢复
若源端对象可以通过HTTP或HTTPS公开访问,且用户能够自行列举出所有待迁移对象名称和对应的下载链接,可选用迁移方式一或迁移方式二。 迁移方式一 请前往迁移中心MgC,并使用其提供的存储迁移工作流进行迁移。迁移中心 MgC支持多种云平台对象存储、文件存储服务的迁移,同时也支持自建网络文件服务的迁移。 迁移方式二
OMS如何迁移指定时间的文件? OMS支持迁移指定修改时间后的对象,您可以在创建迁移任务/迁移任务组时,设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。 选择“否”,不过滤源端待迁移对象。 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
产品咨询 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制 OMS将对象数据迁移到并行文件系统有哪些限制?
详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。
OMS提供了多种割接方案,您可以实际场景选择合适的割接方案。 发布区域:全部 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据 归档数据迁移 当源端对象存储有数据处于归档状态时,直接使用OMS迁移,解冻时间长导致迁移时间较长,为了缩短
迁移失败。 URL列表文件中每行使用制表符\t分隔URL和目的端对象名称,格式为:[URL][制表符][目的端对象名称],其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码;目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。例如:
进入存储数据的桶,单击“粘贴”即可把之前选中的数据移动过来,原来桶中的数据已不存在。 对象较多 推荐使用obsutil工具修改对象路径。 请参见下载obsutil获取工具,并参见初始化配置对工具进行初始化。 使用工具命令移动对象。 以Windows操作系统为例: 运行obsutil mv obs://src_bucket/key
支持以组的方式对迁移任务进行管理。 高效传输 并行迁移 支持多对象并行迁移。 解冻归档数据 对于归档类型的对象存储,支持自动解冻该对象后进行迁移。 自定义域名迁移 支持使用源端桶自定义域名迁移。 记录失败对象 支持记录迁移失败对象,以及重传这些失败对象。 流量控制 支持对不同时段设置最大流量带宽。 断点续传
个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是,使用HTTP/HTTPS数据源时为非必须 迁移任务、迁移任务组:在任务执行完成(无论成功/失败)或用户暂停后,系统自动清除。 同步任务:创建后
dst_node 是 JSONObject 目的端节点信息,参见表6。 enableKMS 是 boolean 是否使用KMS加密。 thread_num 是 int 该迁移任务使用的线程数,不能超过50个。 description 否 String 任务描述,不能超过255个字符,且不能包含<>()"'&等特殊字符。
单个迁移任务速度可以在“迁移任务”界面中查看实时任务迁移速度。 任务组的迁移速度可以在“迁移任务组”界面上查看实时的任务组迁移速度。 若您在创建迁移任务时选择使用SMN消息通知功能,迁移任务结果也将通过电子邮件、短信以及自定义URL等方式发送给您。 界面的迁移速度的统计会有一些延迟,仅供参考。 父主题:
符均不支持。 服务端加密 如果开启“服务端加密”,所有数据在迁移到OBS服务后都将被加密存储。 说明: 默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。 使用KMS服务端加密可能会降低迁移速率10%左右。 当前区域支持KMS加密时,此参数才可用。 配置存储策略 选择
如图1 OMS数据同步模板所示。 图1 OMS数据同步模板 单击模板“详情”,可查看数据类别、输入参数、输出参数、注意事项等说明。 单击“使用模板”,进入创建函数页面。 设置“基本信息”区域参数,参数说明参见表1。 图2 设置基本信息参数 表1 基本信息参数说明 参数名称 说明 函数模板
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String API认证鉴权的Token认证方式。推荐使用Authorization签名认证方式,具体请参考API认证鉴权 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选
RC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。FULL_
Boolean 是否记录失败对象。开启后,如果有迁移失败对象,会在目的端存储失败对象信息。 enable_kms Boolean 存储入OBS时是否使用KMS加密。 enable_metadata_migration Boolean 是否启用元数据迁移,默认否。不启用时,为保证迁移任务正常
OMS服务鉴权失败,无法发送SMN通知消息。 S3M.0160 OMS服务内部错误,发送SMN通知消息失败。 S3M.0161 网络异常,无法使用SMN服务发送通知。 S3M.0162 请求头长度超过限制。 S3M.0163 请求Token长度超过限制。 S3M.0167 找不到失败对象列表。