检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移并行文件系统对象时,一致性校验失败如何处理? 问题描述 迁移并行文件系统对象时,源端对象最后修改时间晚于目的端对象,导致一致性校验失败,重试迁移依然校验失败,并且目的端对象最后修改时间一直保持不变。 问题分析 出现该问题可能是因为并行系统存在元数据mtime(可以设置最后修改时间),如果存在元数据mtim
用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。
更多详情,请参见腾讯云对象存储COSCMD工具相关文档。 解冻完成后,请参考腾讯云COS迁移至华为云OBS教程,将数据迁移到华为云OBS。 父主题: 归档数据迁移方案
迁移是否会影响目的端桶的已有数据 对象存储迁移对目的端桶已有数据的影响,主要看目的端桶与源端桶是否有同名对象。 不存在同名对象,OMS迁移服务对目的桶已有数据无影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务
Administrator”。 自定义策略:如果IAM用户只需要拥有OMS的部分操作权限,则使用自定义策略,参见如何获取源端桶权限和目的端桶权限? 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户的“访问方式”必须同时勾选“编程访问”和“管理控制台访问”。 用户登录并验证权限
使用“源端/目的端双写方案”方案迁移增量对象数据 操作场景 本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过
使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据 归档数据迁移 当源端对象存储有数据处于归档状态时,直接使用OMS迁移,解冻时间长导致迁移时间较长,为了缩短迁移时间,您可以将源端归档数据解冻后再迁移。 OMS根据不同的源端云服务商,提供了对应的归档数据迁移方案。 发布区域:全部
我如何能知道迁移任务的速度? 一般情况,对象存储服务的迁移速度的参考值是10-20TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响,建议用户创建一个实际数据的迁移任务来测试实际迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。
HTTP/HTTPS 数据源迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题: 各云服务商迁移教程
迁移并行文件系统内的对象数据有哪些限制? 当待迁移对象所属文件层级过深时,建议通过创建迁移任务组进行迁移。如果通过创建迁移任务进行迁移,可能出现列举对象超时,导致列举中断。 父主题: 迁移限制
OMS将对象数据迁移到并行文件系统有哪些限制? OMS将对象数据迁移到并行文件系统有以下限制(并行文件系统限制): 若对象名以/结尾,则对象大小必须为0,否则不支持迁移。 对象名中不能出现连续/,例如:test//test。 在同一层级中,文件和文件夹的名称不能相同。 父主题: 迁移限制
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验,且
与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。no_check:目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准http协议中content-length字段获取数据大小时,默认数据下载成功即迁移成功,不对数据做额外校验,且
致瞬时速度为0的情况。 迁移归档数据时,选择“自动解冻归档数据” 由于每个迁移任务的最大并发数是固定的,且在迁移时,才会去解冻归档数据,解冻归档耗时也较长,所以迁移速度会很慢。 解决方式:先在源端批量解冻,再进行迁移,具体方案请参见迁移归档存储数据。 存在大量的忽略对象 在迁移过
从“访问层”下拉菜单中选择目标访问层,单击“保存”。 解冻完成后,请参考微软云Blob迁移至华为云OBS教程,将数据迁移到华为云OBS。 更多操作请参见通过更改Blob层解除冻结Blob。 父主题: 归档数据迁移方案
目的端桶存储类型为归档存储,迁移到目的端桶的数据存储类型是什么类型? OMS迁移后的数据存储类型与目的端桶默认的数据存储类型保持一致。例如:当目的端桶存储类型为归档存储时,迁移到目的端桶后数据存储类型为归档存储。 如果需要修改相关数据存储类型,可以通过对象生命周期来调整。 归档存储数据迁移可参考迁移归档存储数据。 父主题:
参见优刻得对象存储US3CLI命令行工具中的restore相关内容。 单个文件数据解冻 ./us3cli restore us3://bucket/test.txtCopyErrorSuccess 数据解冻整个目录中所有文件 ./us3cli restore -r us3://bucket/test
Deep Archive 进行还原,请在还原的副本可用的天数框中输入您希望归档数据可供访问的天数。 单击“启动还原”。解冻完成后,请参考亚马逊云S3迁移至华为云教程,将数据迁移到华为云OBS。 父主题: 归档数据迁移方案
源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。 目的端桶权限获取 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。
参见金山云对象存储Restore Object接口相关文档。 解冻完成后,请参考金山云KS3迁移至华为云OBS教程,将数据迁移到华为云OBS。 父主题: 归档数据迁移方案