检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
影响。 迁移过程中,不会修改目的端桶的已有数据。 迁移完成后,不会删除目的端桶的已有数据。 存在同名对象,会根据创建任务/任务组时,高级选项中的同名对象覆盖方式来执行覆盖规则。规则说明参见表1。 表1 同名对象覆盖规则说明 覆盖规则 说明 大小/最后修改时间对比覆盖 对于源端和目
对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是,使用HTTP/HTTPS数据源时为非必须 迁移任务、迁移任务组:在任务执行完成(无论成功/失败)或用户暂停后,系统自动清除。
排查。 图1 迁移失败 迁移任务组的目的桶存储类型为非标准存储时,也会导致迁移失败。这时,可以在OBS中,将目的桶存储类型修改为标准存储后,再创建迁移任务组。 迁移任务组会将列表文件临时存放在目的桶的oms/路径下,如果目的桶为非标准存储,迁移节点将无法正常读取该路径下的列表文件,导致迁移失败。
最大长度:255 migrate_failed_object 否 Boolean 迁移类型,标识是否为全量迁移,默认false(全量迁移)。 值为true时表示只重传失败对象。 值为空或者为false时表示全量迁移。 缺省值:false 响应参数 状态码: 400 表4 响应Body参数
数据识别与准备 在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
是否启用HTTPS (y or n) ? n 是否启用代理(y or n):n 配置文件 [ config1 ] 已修改 是否使用该配置作为默认配置(当前默认配置为:< config >)(y or n)? 首次创建的配置文件时会自动将该配置作为默认配置。 配置加密只加密到公私钥
参数类型 描述 X-Auth-Token 是 String IAM Token认证,需要确认Token中包含的Project ID与请求URI中修改资源的Project ID匹配。 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 cloud_type
如果已列举完成则不会迁移。 修改数据: OMS迁移大对象时,会通过分片传输保证可靠性,并在迁移完成后对比大小和修改时间。如果存在迁移中修改某个特定分片,且满足如下条件: 1. 修改后文件大小一致 ; 2. 源端对象最后修改时间早于目的端对象最后修改时间。 最终会导致数据不一致。
源端配置同步请求 源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。 监控同步任务状态 同步任务开始后,您可以随时查看同步的进度以及详情,以确定同步迁移的执行状态是否正常。
将迁移到华为云OBS桶中的文件进行KMS加密。 消息通知服务(Simple Message Notification,SMN) 及时获取迁移任务的结果。 云审计服务(Cloud Trace Service,CTS) 记录与对象存储迁移服务相关的操作事件,便于日后的查询、审计和回溯。 查看审计日志
一致,状态不一致的处理方法请参见:如何解决KMS状态错误导致的迁移任务失败? 源端与目的端对象的大小一致。 目的端对象的最后修改时间不早于源端对象的最后修改时间。 父主题: 产品咨询
务时设置的各项参数信息。 设置流量控制策略 迁移过程中,您可以根据实际情况,随时新增/修改/删除流量控制策略。 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务列表,找到需要新增/修改流量控制策略的任务。单击迁移任务右下角的“详情”。 单击“流量控制”旁边的按钮。 如需
数据保护技术 OMS通过以下方式,保障数据迁移的安全性和完整性。 完整性校验:数据迁移完成后,默认通过对象大小/最后修改时间完成数据的完整性校验。详细介绍请参见一致性校验策略。 个人数据加密保护:为了确保您个人数据的安全性,OMS系统通过加密存储个人数据、控制个人数据访问权限以及
大对象会进行分片上传,上传完成一个分片才会对该分片的迁移量计入速度计算,速度计算结果是不太准确的,可能导致不同时间段速率忽高忽低的情况。 采样频率为5秒,可能出现一个分片传输超过5秒,导致瞬时速度为0的情况。 迁移归档数据时,选择“自动解冻归档数据” 由于每个迁移任务的最大并发数是固定的,且在迁移时,才会去解冻
Administrator 对象存储迁移服务所有权限。 系统角色 依赖OBS Administrator系统策略。 源端桶权限获取 以华为云OBS源端桶为例,如果源端桶为其他云服务商,请联系对应的云服务商工程师。 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取。
假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 同步任务 同
暂停迁移任务 当任务正在运行中时,调用该接口停止任务。 删除迁移任务 根据迁移任务ID,删除迁移任务。 更新任务带宽策略 当迁移任务未执行完成时,修改迁移任务的流量控制策略。
假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 同步任务 同
假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 同步任务 同