检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景三 迁移失败,失败对象列表中失败原因为:“403” 获取失败对象列表方法:单击迁移失败任务名称,右侧弹出任务详情,单击“失败对象列表路径”链接,如图4所示,进入OBS服务下载失败对象列表.txt文件。 图4 失败对象列表路径 问题原因: “403”表示OMS服务无权限访问CDN域名。
密钥(AK/SK)和源端桶权限获取创建AK/SK并添加权限。 如果源端为其他云服务商,请参见各云服务商迁移教程中的准备工作创建AK/SK并添加权限。 目的端:请参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。 创建目的端桶 创建用于存放迁移数据的桶,具体操作参见创建桶。
端对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶指定目录(文件夹)下。指定目录(文件夹)只能存放URL列表文件。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 请确保URL列表文件中的URL可通过HEAD和GET请求正常访问。
Encode编码。 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 URL列表文件 URL列表文件大小不能超过1024MB。
源端数据源选择“HTTP/HTTPS数据源”,迁移方式默认为“指定URL列表”。 创建“HTTP/HTTPS数据源”迁移任务参见“创建指定URL列表迁移任务”。 创建“HTTP/HTTPS数据源”迁移任务组参见“创建指定URL列表迁移任务组”。 父主题: 迁移限制
功能总览 功能总览 全部 API SDK 权限管理 同步任务 割接方案 归档数据迁移 错误码 设置迁移限速 迁移任务组 API OMS提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,实现创建、查询、暂停、删除任务等操作。
选择“指定URL列表”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放URL列表文件的OBS桶。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 在“选择URL列表文件”参数后面,单击“选择”按钮,弹出“选择URL列表文件”窗口,选择URL列表文件,单击“确定”。
选择“指定对象列表”迁移方式。 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表目录”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
创建源端谷歌云和目的端华为云的访问密钥(AK/SK)并授权 源端谷歌云: 请参考如下步骤生成密钥文件,并为用户添加相应的谷歌云权限,权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。 使用谷歌账户登录Google Cloud控制台。 在控制台中,选择您想要为其创建访问密钥的特定项目。然后,导航到I
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
个人数据访问权限以及记录操作日志等方法防止个人数据泄露,保证您的个人数据安全。 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否
体参见表9。 task_type 否 String 任务类型,为空默认设置为object。 list:对象列表迁移 object:文件/文件夹迁移 prefix:对象前缀迁移 url_list:URL列表迁移 说明: 当task_type为list或url_list时,表3中li
Service,OMS)常见应用场景的操作实践,每个实践我们提供详细的方案描述和操作指导,用于指导您快速实现对象存储数据迁移。 表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。
Encode编码。 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 URL列表文件 URL列表文件大小不能超过1024MB。
迁移完成后,不会删除源端的数据。 迁移可能会对用户业务产生影响 迁移过程中如果速度过快,可能对源端计费(CDN)或业务造成一定影响。建议根据实际业务添加限速策略,具体操作请参见创建单个迁移任务中“流量控制”说明。 迁移中源端产生的相关费用用户未提前识别,导致欠费对业务造成影响。OMS相关费用产生逻辑请参见计费说明。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
获取对象内容等权限。如果没有,请参见创建访问密钥(AK/SK)和源端桶权限获取创建AK/SK并添加权限。 目的端:请参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。 创建目的端桶 创建用于存放迁移数据的桶,具体操作参见创建桶。 解冻源端归档数据 当源端对
ListFile object 列表文件配置,当task_type为LIST或URL_LIST时,list_file为必选参数。 表5 ListFile 参数 是否必选 参数类型 描述 list_file_key 是 String 对象列表文件或URL列表文件对象名。 最小长度:1 最大长度:1024