云服务器内容精选

  • 什么是 对象存储迁移 服务 对象存储迁移服务(Object Storage Migration Service, OMS )是一种线上数据迁移服务,帮助您将其他云服务商 对象存储服务 中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。 目前支持亚马逊云(中国)、阿里云、微软云、百度云、华为云、金山云、优刻得、青云、七牛云、腾讯云、谷歌云平台的对象存储数据迁移。 对象存储迁移服务的典型应用场景有: 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁到华为云中。 云上容灾:出于灾备,把用户对象存储数据复制到华为云中。 对象数据恢复:利用其他云服务提供商备份的数据,恢复用户在华为云丢失的对象存储数据。
  • 隐私声明 请您在使用我们的产品(或服务)前,仔细阅读并了解本《隐私声明》。 本产品(或服务)的核心业务功能为对象存储数据迁移。 为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的华为云用户ID、项目ID和账号ID。 我们收集您的上述信息,将用于为您提供对象存储迁移服务。对于您的源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,系统将于完成您的迁移服务后自动删除上述信息。对于您的华为云用户ID、项目ID和账号ID,将保存至您注销华为云账号时。 我们将会为您的上述信息采取相关安全保障措施,包括但不限于加密。 对于您提供的上述信息,华为云不进行对外共享、转让、公开披露,除非依据您的指示或法律法规的强制性要求。 您有访问、更改、删除您上述信息的权利。对于您权利的行使,请通过提交工单的方式联系我们。 上述所有信息均存储于您所选择的区域隶属的国家境内。 您应确保,您使用本迁移服务符合法律法规的要求。华为云仅按照您的指示,为您提供标准迁移服务,并不对您使用迁移服务的合法合规性负责。 您理解上述信息均是为您提供服务之必需。如您选择不提供或不同意我们收集、使用以上这些信息,将导致您无法正常使用我们的产品(或服务),我们将无法为您服务。 如您有任何疑问,可通过提交工单的方式联系我们。
  • 约束与限制 OMS迁移任务限制如表1所示。 表1 OMS迁移任务限制 类别 限制 多版本对象迁移 OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。 迁移网络 仅支持公网迁移,不支持专线迁移。 元数据迁移 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 中文字符:迁移过程中,会被转换成URL编码形式。 注意: 不支持中文标点符号迁移,由于中文标点符号不会被转换成URL编码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中划线【-】:迁移过程中不需要进行编码转换,可以直接迁移。 迁移范围 目前单个任务(迁移任务/迁移任务组)仅支持迁移单桶数据,如果涉及多桶数据迁移,需要创建多个任务。 软链接 暂不支持源端软链接文件的迁移。在迁移过程中,软链接文件均会添加到失败列表中并造成迁移任务最终失败,但其中非软链接文件可正常迁移到目的端。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移速度 通常OMS的迁移速度参考值是10~20 TB每天。若需更高的迁移效率,建议使用迁移中心MgC的存储迁移工作流进行迁移。迁移中心MgC提供独享的集群资源,能够动态扩展迁移性能,最高支持20Gbit/s带宽。 迁移速度受源端对象个数、大小,带宽以及公网传输距离影响,建议用户创建一个含有实际数据的迁移任务来测试迁移速度,实际最大迁移速度为单个任务平均速度的5倍(单个Region内并发任务数最大为5)。如果需要更高的并发任务数,可以使用迁移中心 MgC的存储迁移工作流来自定义并发子任务数。 归档数据 对于归档类型的数据,迁移前需要您进行解冻操作,待解冻完成后再创建迁移任务,解冻时请注意如下事项: 请务必在解冻完成后再创建迁移任务。 请根据待迁移的数据总量评估并设置解冻有效期,以防迁移期间数据再次变成归档状态。 解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。 迁移任务 同一用户,单个Region内并发任务数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 24小时内,单个Region内最多创建迁移任务数为5000个。 迁移任务组 同一用户,单个Region内并发任务组数最大为5。 说明: 假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。 同步任务 同步任务和迁移任务、迁移任务组共用配额,优先于迁移任务、迁移任务组下发。 并发执行同步中的任务数量最多为5个。 对象列表文件 对象列表文件大小不能超过1024MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码。 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 URL列表文件 URL列表文件大小不能超过1024MB。 URL列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 URL列表文件必须是UTF-8无BOM格式编码格式。 URL列表文件中每行只能包含一个URL和目的端对象名称。 URL列表文件中每行长度不要超过65535,否则会导致迁移失败。 URL列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 URL列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 URL列表文件中每行使用制表符\t分隔URL和目的端对象名称,格式为:[URL][制表符][目的端对象名称],其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码;目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。例如: http://xxx.xxx.xxx.xxx.com/doc/%e6%96%87%e4%bb%b61.txt doc/%e6%96%87%e4%bb%b61.txt http://xxx.xxx.xxx.xxx.com/doc/thefile2.txt doc/thefile2.txt http://xxx.xxx.xxx.xxx.com/the%20file.txt the%20file.txt http://xxx.xxx.xxx.xxx.com/the%20file2.txt the+file2.txt http://xxx.xxx.xxx.xxx.com/doc/thefile.txt doc/thefile.txt 注意: URL编码仅从 域名 后第二个字符开始,不要将协议头、域名以及域名两侧的斜线转码,否则将导致格式校验错误。 URL与目的端对象名称之间使用一个制表符(键盘上Tab键)进行分隔,请勿使用空格。 以上示例中,URL所表示的文件,被复制到目的端桶后,对象会被分别命名为:doc/文件1.txt、doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 URL列表文件中的URL需确保可通过HEAD和GET请求正常访问。 失败对象列表文件 单个任务失败对象列表最多记录10万个失败对象。 说明: 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。
  • 和其他服务的关系 对象存储迁移服务与其他服务的关系如表1所示。 表1 与其他服务的关系 相关服务 交互功能 位置 对象存储服务(Object Storage Service,OBS) 将源端对象数据迁移至华为云创建的OBS桶中。 创建单个迁移任务 创建迁移任务组 数据加密 服务(Data Encryption Workshop,DEW) 将迁移到华为云OBS桶中的文件进行KMS加密。 消息通知 服务(Simple Message Notification, SMN ) 及时获取迁移任务的结果。 云审计 服务(Cloud Trace Service, CTS ) 记录与对象存储迁移服务相关的操作事件,便于日后的查询、审计和回溯。 查看审计日志
  • 身份认证 用户访问OMS的方式包括:OMS控制台、API、SDK,无论哪种访问方式,其本质都是通过OMS提供的REST风格的API接口进行请求。 OMS的接口支持认证请求,经过认证的请求需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。关于访问密钥的详细介绍及获取方式,请参见访问密钥(AK/SK)。
  • OMS权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并授予用户组策略或角色,使得用户组中的用户获得对应的权限,这一过程称为授权。用户获得对应权限后就可以对云服务进行操作。 访问OMS时,需要先切换至授权区域。 授权时,“作用范围”需要选择“区域级项目”,在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。 由于华为云各服务之间存在业务交互关系,对象存储迁移服务的角色依赖其他服务的角色来实现功能。因此给用户对象存储迁移服务的角色时,需要同时授予依赖服务的角色,对象存储迁移服务的权限才能生效。 对象存储迁移服务 (OMS)的所有系统角色,参见表1。 表1 OMS系统权限 角色名称 描述 类别 依赖关系 OMS Administrator 对象存储迁移服务所有权限。 系统角色 依赖OBS Administrator系统策略。
  • 产品优势 对象存储迁移服务具备的优势主要有如下几点: 简单易用 对象存储迁移服务的使用方法简单,您通过登录管理控制台创建迁移任务后,即可等待系统完成迁移,中途无需额外操作。 安全认证 对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。 如果迁移任务处于等待状态,则AK/SK会被暂时保存。AK/SK的最大保存时间为72小时。 传输加密 对象存储迁移服务支持通过HTTPS加密在线传输数据,确保数据在传输过程中的安全。 源端云服务提供商可能只支持HTTP在线传输,请在迁移前及时了解。 存储加密 对象存储迁移服务可以对迁移后存储在华为云中的对象数据进行加密,使您的对象数据存储更安全。
  • 迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。 若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。 OMS服务将对象数据写入目的端。 目的端响应写入结果。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 通过元数据校验数据的完整性和一致性。 重复步骤3~16,完成步骤1中获取的全部对象迁移工作。 重复步骤1~17,完成迁移任务中的全部对象迁移工作。 父主题: 迁移工作原理
  • API请求次数 OMS在数据迁移前需要对源端和目的端的文件进行对比;迁移时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 迁移数据需要一次请求:get 迁移完成后校验数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 迁移数据需要一次请求:put 迁移完成后设置数据存储类型需要一次请求:put 迁移完成后校验数据需要一次请求:head 目的端存在源端同名对象(大小一致,且目的端最后修改时间晚于源端最后修改时间),重复对象,无需迁移。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 目的端存在源端同名对象(大小不一致,或源端最后修改时间晚于目的端最后修改时间),不同对象,目的端对象会被源端对象覆盖。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 迁移数据需要一次请求:get 迁移完成后校验数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 迁移数据需要一次请求:put 迁移完成后设置数据存储类型需要一次请求:put 迁移完成后校验数据需要一次请求:head 若源端需要迁移的文件大于50 MB,则迁移数据时会将文件进行分段后再上传,单个分段大小为50 MB,此时迁移数据的请求数根据迁移数据大小决定。 例如:大小为200 MB的文件会被分成四段上传,源端产生2次head,4次get,目的端产生2次head,5次put(4个分片上传+一次合并)请求。 API请求的实际费用以各云服务商 定价 为准,华为云OBS的费用请参考产品价格详情。
  • 下载与上传流量费用 数据迁移时,OMS会先将数据从源端下载,再将数据上传至OBS,这个过程会产生一定的流量费用。 源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数据所在云服务商收取。 为节省您的费用,建议您开通CDN流量包或使用OMS多策略限速功能,在对象存储非闲时采取限速。具体CDN流量包和闲时流量包费用,以各云服务商定价为准。 如果使用OMS的自动解冻功能,还会存在对象解冻/取回费用。 数据上传至华为云OBS不收取流量费用。 同一区域内,无论是同账号迁移或跨账号迁移,均不会产生流量费用。
  • 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是,使用HTTP/HTTPS数据源时为非必须 迁移任务、迁移任务组:在任务执行完成(无论成功/失败)或用户暂停后,系统自动清除。 同步任务:创建后默认保留,用户停止任务后,系统自动清除。 源端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 源端CDN密钥 用户在界面输入,用于鉴权认证 否 否,CDN迁移场景下为必须 目的端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是 目的端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 是
  • 计费方式 对象存储迁移服务(Object Storage Migration Service,以下简称OMS)当前处于免费期,免费期内使用OMS服务不收取任何费用。免费期结束后,OMS服务将根据您使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详情,请参见产品价格详情。 迁移过程中会调用源端和目的端的对象存储服务的API进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说明请参见API请求次数与下载与上传流量费用。
  • 估算迁移计费 一般情况,迁移费用可参考如下公式估算: 迁移费用=调用源端API次数 x 源端API调用单价+调用目的端API次数 x 目的端API调用单价+对象总容量x 源端出口流量单价 调用源端API次数=(对象总数/1000)+对象总数 x 3 调用目的端API次数=对象总数 x 4 源端出口流量单价(根据源端云服务商套餐确定) 华为云只负责收取调用目的端API的费用;调用源端API的费用和源端出口流量费用均由源端云服务商收取。 迁移时忽略的对象由于需要判断对象是否存在+对比数据,因此在源端和目的端均会产生API请求费用,但由于忽略对象并没有迁移,因此不会产生流量费用。
  • 修订记录 发布日期 修订记录 2024-03-22 第二十三次正式发布。 新增迁移工作原理 新增迁移网络模型 2023-10-17 第二十二次正式发布。 更新计费说明中的API请求次数。 2023-06-20 第二十一次正式发布。 约束与限制新增“迁移范围”、“迁移速度”、“归档数据”限制说明。 2023-06-05 第二十次正式发布。 约束与限制新增目的端桶类别限制。 2023-04-25 第十九次正式发布。 更新约束与限制。 2022-09-27 第十八次正式发布。 新增安全章节。 2022-08-02 第十七次正式发布。 更新产品功能。 更新权限管理。 2021-10-09 第十六次正式发布。 计费说明章节新增“估算迁移费用”。 2021-04-23 第十五次正式发布。 优化约束与限制章节。 2021-03-18 第十四次正式发布。 新增功能特性章节。 2021-03-10 第十三次正式发布。 权限管理章节内容优化。 2021-01-14 第十二次正式发布。 计费说明章节内容优化。 2020-08-06 第十一次正式发布。 计费说明章节内容优化。 2020-06-19 第十次正式发布。 新增个人数据保护机制章节。 2020-04-01 第九次正式发布。 新增计费说明章节。 2020-02-10 第八次正式发布。 新增权限管理章节。 2019-10-15 第七次正式发布。 源端云服务商增加微软云。 2019-08-31 第六次正式发布。 更新产品功能。 更新和其他服务的关系。 2019-07-05 第五次正式发布。 增加隐私声明一节。 2019-04-29 第四次正式发布。 在什么是对象存储迁移服务中,增加应用场景。 在什么是对象存储迁移服务中,删除同名覆盖说明,内容移至常见问题。 在产品功能中,更新功能表述。 在和其他服务的关系中,增加数据加密服务。 2019-04-17 第三次正式发布。 在什么是对象存储迁移服务中,更新同名覆盖的说明。 在和其他服务的关系中,采用表格进行描述。 在产品功能中,新增迁移评估。 2018-12-21 第二次正式发布。 在产品优势中,对传输加密功能增加说明。 2018-04-09 第一次正式发布。
  • 操作场景 当源端对象存储有数据处于归档状态,直接使用OMS迁移,解冻时间长导致迁移时间较长,可参考以下方案。 如果不提前使用恢复归档存储,全量依靠OMS自动恢复功能,每个对象触发解冻后,会等待1-5分钟(具体时间由源端对象存储决定),最终导致迁移速度缓慢,影响您的整体迁移进度。 在OBS桶中仅开启归档数据直读功能,仅支持直接下载归档存储数据,并未修改相应存储类型,因此OMS无法正常直接下载对象。 归档存储开启直读,和使用OMS自动恢复归档存储,源端对象存储服务都会收取相应费用,详见产品价格详情。 迁移归档数据时,目的端桶类型建议选择为“标准存储”,待迁移完成确认数据无误后,再通过对象生命周期将对应数据的存储类型改为“归档存储”。