检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 该问题可分为以下两种情况来说明: 如何保证增量数据如何迁移过来? 参见增量迁移对象数据。 源端数据有更新,如何同步过来? 需要重新全量迁移,OMS会自动识别更新后对象进行覆盖,具体覆盖条件请参考迁移是否会影响目的端桶的已有数据。
①全量迁移:将T1时间点之前的源端存量数据全量迁移到华为云(此时客户业务系统还会继续往源端桶新增业务数据)。 ②业务验证:验证迁移数据 + 验证华为侧数据业务(数据读取和写入)。 T2时间:启动首次增量数据迁移、评估数据增量速度。 ③增量迁移:将T1~T2时间段生成的新增数据迁移到华为云。 ④评估增量速度:对比
源端对象个数<目的端对象个数 可能原因: OBS和友商控制台,统计可能存在部分时延,迁移后需要等待少许时间。 目的端桶存在客户业务系统切换到华为云后,自主写入的新增对象/OMS上传的对象列表文件。 源端对象大小<目的端对象大小 可能原因: 目的端桶存在OMS上传的相关配置文件。 您可以清除相关配置文件,清除后相关迁移报告将无法恢复。
URL_LIST_DOMAIN_FORBIDDEN URL列表中的行包含被禁止的域名 修改为非禁止域名后重试,如有疑问请联系技术支持。 URL_LIST_IP_FORBIDDEN URL列表中的行包含被禁止的IP 修改为非禁止IP后重试,如有疑问请联系技术支持。 URL_LIST_OBJECT_KEY_TOO_LONG
敏感数据进行加密存储: 源端AK/SK 源端CDN密钥 目的端AK/SK 访问权限控制 用户个人数据通过加密后存储在对象存储迁移服务数据库中,数据库的访问需要通过白名单的认证与授权。 API接口限制 用户调用API接口时,需要使用IAM Token进行认证。
基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。 操作步骤 以下是源端云服务商为华为云时,通过函数工作流服务配置源端同步请求的操作步骤。
过程的正确性,需要使用URL编码进行转换。 例如:待迁移对象为“6-objs.txt”和“oms/考试计划.docx”,则对象列表文件中应写入如下内容: 6-objs.txt oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx 对象列表
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
的名称不超过1024个字符,否则将导致任务失败。 指定对象列表 指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称逐一写入一个对象列表文件。再将这个对象列表文件放在华为云obs桶中,对象存储迁移服务会读取这个对象列表文件,并迁移文件中列出的所有对象。 说明: 对象列表文件大小不能超过1024MB。
设置“源端配置选项”区域参数。 选择迁移方式。 如果... 那么... 指定对象列表 指定对象列表目录方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在华为云OBS桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 选择“列表目录所在桶(华为云)”。
高频常见问题 产品咨询 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? OMS保证迁移数据一致性的校验策略是什么? 迁移是否会影响目的端桶的已有数据 迁移限制
OMS服务通过公网从源端对象存储服务读取文件对象,并将文件对象写入OMS服务所支持Region内的对象存储服务OBS桶中。 场景二:Region内迁移 OMS服务通过内部网络从源端对象存储服务读取文件对象,并将文件对象写入OMS服务所支持Region内的对象存储服务OBS桶中。
"region_list" : [ { "cloud_type" : "AWS", "value" : "us-east-1", "description" : "US Standard (N. Virginia)" }, { "cloud_type" : "AWS"
若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。 OMS服务将对象数据写入目的端。 目的端响应写入结果。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。
配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(标准存储类型不涉及)。表中费用数据仅供参考,具体以各云厂商提供的数据为准。 下表中各云厂商的费用参考区域:华
2020-08-06 第四次正式发布。 新增如何从一个区域迁移OBS桶数据到另一区域? 2020-06-19 第三次正式发布。 新增如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 新增如何解决KMS状态错误导致的迁移任务失败? 2019-08-31 第二次正式发布。
创建URL列表文件并上传至OBS桶 创建迁移任务:将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域的OBS桶中。 创建迁移任务组:将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件存放在与目的端桶处于同一区域
选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含:读取和列表,如果要迁移归档类对象权限则需要再勾选:写入。 开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成SAS和连接字符串”,即可显示连接字符串和SAS令牌、Blob服务SAS
创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。
如何迁移根目录下的数据? 迁移对源端数据是否有影响?源端数据改变对迁移结果有什么影响? 迁移完成后,如何修改已迁移对象路径? 如果一直有数据写入OBS的情况下,使用OMS服务如何保证数据一致性? 如何获取源端桶权限和目的端桶权限? 如何查看迁移任务中迁移了哪些对象? 如何查看迁移任务组中迁移了哪些对象?