华为云用户手册

  • SaaS/企业平台的运维与迭代升级 CCE Autopilot适合作为SaaS平台和企业平台的坚实底座,尤其适用于需要频繁进行升级和迭代的大型企业资源池。传统模式客户需自运维自升级,运维人力成本巨大。CCE Autopilot的自动化运维减少了对人力资源的依赖,显著降低了运维成本。且对互联网金融等对安全合规性有严格要求的行业,传统驾驶模式客户自运维,OS等保能力建设困难,CCE Autopilot的托管服务不仅简化了节点管理,还提升了系统的安全性和合规性,使企业能够更专注于核心业务的创新与发展。 图1 传统模式和自动驾驶的资源管理对比
  • CCE Autopilot集群和传统Serverful容器集群的对比 维度 Serverless容器集群 传统Serverful容器集群 CCE Autopilot CCE Standard CCE Turbo 节点管理 工作节点全托管,Autopilot负责节点扩缩容及预热。 工作节点由您自行管理、运维 工作节点由您自行管理、运维 节点操作系统 使用containerd容器引擎的专属操作系统 您可以自行选择操作系统及容器引擎 您可以自行选择操作系统及容器引擎 节点规格 自适应规格 由您选择指定的节点规格 由您选择指定的节点规格 节点升级和维护 节点自动升级、修复 节点需通过重置升级 节点需通过重置升级 容器网络模型 云原生网络2.0模型 VPC网络模型 容器隧道网络模型 云原生网络2.0模型 网络性能 VPC网络和容器网络融合,性能无损耗 VPC网络叠加容器网络,性能有一定损耗 VPC网络和容器网络融合,性能无损耗 网络隔离 Pod可直接关联安全组,基于安全组的隔离策略,支持集群内外部统一的安全隔离。 容器隧道网络模式:集群内部网络隔离策略,支持NetworkPolicy。 VPC网络模式:不支持 Pod可直接关联安全组,基于安全组的隔离策略,支持集群内外部统一的安全隔离。
  • 传统Serverful容器集群的痛点 在云计算的浪潮中,容器技术以其轻量级和高效性,成为企业IT架构转型的强劲动力。然而,随着业务的快速发展,传统的容器服务(Serverful)逐渐暴露出一系列问题:运维管理复杂、弹性速度慢、成本控制困难,这些都严重制约了企业的创新步伐。 运维管理复杂:用户需要手动管理底层服务器的资源分配和扩展,不仅涉及到复杂的容量规划和资源调度,还涉及到持续的节点监控、故障排查、系统升级等运维活动。运维成本高,需投入大量人力和物力资源。 弹性速度慢:用户需制定节点和负载的弹性联合策略,容器弹性扩容通常需要提前对工作节点进行扩容,过程通常需要分钟级别的等待,影响效率和响应速度。 成本控制困难:容器节点需要预先分配资源,当资源未被充分利用时,会造成资源浪费,且高负载情况时可能资源不足,难以实现成本效益最大化。
  • CCE Autopilot集群架构的优势 对比CCE Standard/Turbo集群,CCE Autopilot集群核心演进如下: 产品Serverless化:增加集群工作节点托管,实现集群全托管,用户无需对节点的部署、管理和安全性进行维护,集群规格自动弹性伸缩。 资源池化:采用华为云Serverless融合资源池,实现CPU、内存、GPU等资源的池化管理,减少资源碎片,容器资源按需使用。 性能全面优化:通过动态预热技术进行资源池预热,资源供给加速,容器秒级弹性,根据负载规模自动扩缩。 图2 Autopilot架构对比
  • 开始导入 下面我们通过几个实际的场景示例来看Broker Load的使用。 数据样例: '100','101','102','103','104','105',100.00,100.01,100.02,'100',200,100.08,2022-04-01 '101','102','103','104','105','105',100.00,100.01,100.02,'100',200,100.08,2022-04-02 '102','103','104','105','106','105',100.00,100.01,100.02,'100',200,100.08,2022-04-03 准备工作: 在本地创建示例数据文件source_text.txt,并上传至hdfs的/tmp/。 在hive中创建ods_source表。 CREATE TABLE `ods_source`( `id` string, `store_id` string, `company_id` string, `tower_id` string, `commodity_id` string, `commodity_name` string, `commodity_price` double, `member_price` double, `cost_price` double, `unit` string, `quantity` string, `actual_price` double, `day ` string ) row format delimited fields terminated by ',' lines terminated by '\n' stored as textfile; 将hdfs创建的txt文件导入到ods_source表。 load data inpath '/tmp/source_text.txt' into table ods_source;
  • 相关系统配置 FE配置。 下面几个配置属于Broker load的系统级别配置,也就是作用于所有Broker load导入任务的配置。主要通过修改FE配置项来调整配置值。 max_bytes_per_broker_scanner/max_broker_concurrency max_bytes_per_broker_scanner配置限制了单个BE处理的数据量的最大值。max_broker_concurrency配置限制了一个作业的最大的导入并发数。最小处理的数据量(默认64M),最大并发数,源文件的大小和当前集群BE的个数 共同决定了本次导入的并发数。 本次导入并发数=Math.min(源文件大小/最小处理量(默认64M),最大并发数,当前BE节点个数)。 本次导入单个BE的处理量=源文件大小/本次导入的并发数。 通常一个导入作业支持的最大数据量为max_bytes_per_broker_scanner*BE节点数。如果需要导入更大数据量,则需要适当调整max_bytes_per_broker_scanner参数的大小。 默认配置: 参数名:max_broker_concurrency, 默认10。 参数名:max_bytes_per_broker_scanner,默认3G,单位bytes。
  • 作业调度 系统会限制一个集群内正在运行的Broker Load作业数量,以防止同时运行过多的Load作业。 首先,FE的配置参数:desired_max_waiting_jobs会限制一个集群内未开始或正在运行(作业状态为PENDING或LOADING)的Broker Load作业数量。默认为100。如果超过这个阈值,新提交的作业将会被直接拒绝。 一个Broker Load作业会被分为pending task和loading task阶段。其中pending task负责获取导入文件的信息,而loading task会发送给BE执行具体的导入任务。 FE的配置参数async_pending_load_task_pool_size用于限制同时运行的pending task的任务数量。也相当于控制了实际正在运行的导入任务数量。该参数默认为10。也就是说,假设用户提交了100个Load作业,同时只会有10个作业会进入LOADING状态开始执行,而其他作业处于PENDING等待状态。 FE的配置参数async_loading_load_task_pool_size用于限制同时运行的loading task的任务数量。一个Broker Load作业会有1 pending task和多个loading task(等于LOAD语句中DATA INFILE子句的个数)。所以async_loading_load_task_pool_size应该大于等于async_pending_load_task_pool_size。
  • 基本原理 用户在提交导入任务后,FE会生成对应的Plan并根据目前BE的个数和文件的大小,将Plan分给多个BE执行,每个BE执行一部分导入数据。 BE在执行的过程中会从Broker拉取数据,在对数据transform之后将数据导入系统。所有BE均完成导入,由FE最终决定导入是否成功。 + | 1. user create broker load v +----+----+ | | | FE | | | +----+----+ | | 2. BE etl and load the data +--------------------------+ | | | +---v---+ +--v----+ +---v---+ | | | | | | | BE | | BE | | BE | | | | | | | +---+-^-+ +---+-^-+ +--+-^--+ | | | | | | | | | | | | 3. pull data from broker +---v-+-+ +---v-+-+ +--v-+--+ | | | | | | |Broker | |Broker | |Broker | | | | | | | +---+-^-+ +---+-^-+ +---+-^-+ | | | | | | +---v-+-----------v-+----------v-+-+ | HDFS/BOS/AFS cluster | | | +----------------------------------+
  • 处理策略 为了避免多个入口的配置相冲突,以及确保Istio各工作负载持续稳定运行,ASM 1.8.6及以上版本采取如下策略: 定义工作负载的关键运行配置和非关键运行配置 表1 各资源类型下的关键运行配置 工作负载 资源类型 配置项 配置项描述 适用版本 istiod istio-ingressgateway istio-egressgateway Deployment spec.replicas 实例数 1.8.6及以上版本 spec.strategy 升级策略 spec.template.spec.nodeSelector 调度策略 spec.template.spec.affinity 调度策略 spec.template.spec.tolerations 调度策略 spec.template.spec.containers.resources 资源请求和限制 istiod istio-ingressgateway istio-egressgateway Deployment spec.template.spec.containers.env 容器环境变量 1.13.9-r10、1.15.7-r3及以上小版本 1.18.7-r3及以上版本 istio-cni-node DaemonSet spec.updateStrategy 升级策略 1.18.5-r1及以上版本 spec.template.spec.nodeSelector 调度策略 spec.template.spec.affinity 调度策略 spec.template.spec.tolerations 调度策略 spec.template.spec.containers.resources 资源请求和限制 spec.template.spec.containers.env 容器环境变量 1.18.7-r3及以上版本 Istio Operator默认保持当前集群中工作负载的关键运行配置不做更新,仅支持非关键运行配置更新。 若需要对关键运行配置进行修改,建议用户通过CCE控制台“工作负载”页面修改,若用户有特定需求,可通过工单进行咨询。
  • 操作背景 为了保证系统的安全性,以及减少用户在不使用系统时所造成的资源浪费,在用户离开系统一段时间后,必须对连接进行注销。注销有诸多方法,修改TMOUT变量为其中的解决方案之一。 TMOUT是一个环境变量,它决定了在系统自动注销前所空闲的秒数。因此,在设置了此变量后,若用户在规定时间内没有进行主动活动,则连接将自动断开。若没有设置此变量,或值为0,表示禁用自动注销,用户不会因长时间不活动而断开连接。
  • 操作步骤 执行以下命令查看自动注销时间(即TMOUT的值)。 echo $TMOUT 显示空白表示没有设置此值。 执行以下命令,设置当前会话下的自动注销时间。如果要长期定义自动注销时间请执行步骤3。 export TMOUT=秒数 长期应用此变量设置自动注销时间。 方式一 执行以下命令修改文件/etc/profile(若修改此文件不生效,可再修改/etc/bashrc ,修改流程相同),这样可以使所有应用此配置文件的用户均受此自动注销时间的影响。 vim /etc/profile 或者 vim /etc/bashrc 添加以下命令至文件末尾。以设置自动注销时间为1200秒为例,实际值可自定义,设置为0禁用注销功能。 export TMOUT=1200 保存文件后执行以下命令刷新。 source /etc/profile 方式二 依次执行以下命令直接修改自动注销时间。 sed -i '$a\export TMOUT=1200' /etc/profile source /etc/profile 执行以下命令查看自动注销时间。 echo $TMOUT 若显示定义的数值,则说明自动注销功能设置成功。
  • 什么是 对象存储迁移 服务 对象存储迁移服务(Object Storage Migration Service, OMS )是一种线上数据迁移服务,帮助您将其他云服务商 对象存储服务 中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。 目前支持亚马逊云(中国)、阿里云、微软云、百度云、华为云、金山云、优刻得、青云、七牛云、腾讯云、谷歌云平台的对象存储数据迁移。 对象存储迁移服务的典型应用场景有: 对象数据搬迁:将典型Web应用搬迁到华为云上时,把用户的对象存储数据搬迁到华为云中。 云上容灾:出于灾备,把用户对象存储数据复制到华为云中。 对象数据恢复:利用其他云服务提供商备份的数据,恢复用户在华为云丢失的对象存储数据。
  • 迁移流程 对象存储迁移服务 OMS的迁移工作原理图,如图1所示。 图1 迁移工作原理图 迁移工作流程说明: OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。 若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。 OMS服务将对象数据写入目的端。 目的端响应写入结果。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 通过元数据校验数据的完整性和一致性。 重复步骤3~16,完成步骤1中获取的全部对象迁移工作。 重复步骤1~17,完成迁移任务中的全部对象迁移工作。 父主题: 迁移工作原理
  • 身份认证 用户访问OMS的方式包括:OMS控制台、API、SDK,无论哪种访问方式,其本质都是通过OMS提供的REST风格的API接口进行请求。 OMS的接口支持认证请求,经过认证的请求需要包含一个签名值,该签名值以请求者的访问密钥(AK/SK)作为加密因子,结合请求体携带的特定信息计算而成。通过访问密钥(AK/SK)认证方式进行认证鉴权,即使用Access Key ID(AK)/Secret Access Key(SK)加密的方法来验证某个请求发送者身份。关于访问密钥的详细介绍及获取方式,请参见访问密钥(AK/SK)。
  • 收集范围 对象存储迁移服务收集的个人数据如表1所示: 表1 个人数据范围列表 类型 收集方式及目的 是否可以修改 是否必须 生命周期 源端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是,使用HTTP/HTTPS数据源时为非必须 迁移任务、迁移任务组:在任务执行完成(无论成功/失败)或用户暂停后,系统自动清除。 同步任务:创建后默认保留,用户停止任务后,系统自动清除。 源端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 源端CDN秘钥 用户在界面输入,用于鉴权认证 否 否,CDN迁移场景下为必须 目的端AK(Access Key) 用户在界面输入,用于鉴权认证 否 是 目的端SK(Secret Key) 用户在界面输入,用于鉴权认证 否 是
  • API请求次数 OMS在数据迁移前需要对源端和目的端的文件进行对比;迁移时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 迁移数据需要一次请求:get 迁移完成后校验数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 迁移数据需要一次请求:put 迁移完成后设置数据存储类型需要一次请求:put 迁移完成后校验数据需要一次请求:head 目的端存在源端同名对象(大小一致,且目的端最后修改时间晚于源端最后修改时间),重复对象,无需迁移。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 目的端存在源端同名对象(大小不一致,或源端最后修改时间晚于目的端最后修改时间),不同对象,目的端对象会被源端对象覆盖。 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head 迁移数据需要一次请求:get 迁移完成后校验数据需要一次请求:head 对目的端的操作 迁移前对比数据需要一次请求(判断对象是否存在):head 迁移数据需要一次请求:put 迁移完成后设置数据存储类型需要一次请求:put 迁移完成后校验数据需要一次请求:head 若源端需要迁移的文件大于50 MB,则迁移数据时会将文件进行分段后再上传,单个分段大小为50 MB,此时迁移数据的请求数根据迁移数据大小决定。 例如:大小为200 MB的文件会被分成四段上传,源端产生2次head,4次get,目的端产生2次head,5次put(4个分片上传+一次合并)请求。 API请求的实际费用以各云服务商 定价 为准,华为云OBS的费用请参考产品价格详情。
  • 下载与上传流量费用 数据迁移时,OMS会先将数据从源端下载,再将数据上传至OBS,这个过程会产生一定的流量费用。 源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数据所在云服务商收取。 为节省您的费用,建议您开通CDN流量包或使用OMS多策略限速功能,在对象存储非闲时采取限速。具体CDN流量包和闲时流量包费用,以各云服务商定价为准。 如果使用OMS的自动解冻功能,还会存在对象解冻/取回费用。 数据上传至华为云OBS不收取流量费用。 同一区域内,无论是同账号迁移或跨账号迁移,均不会产生流量费用。
  • 计费方式 对象存储迁移服务(Object Storage Migration Service,以下简称OMS)当前处于免费期,免费期内使用OMS服务不收取任何费用。免费期结束后,OMS服务将根据您使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详情,请参见产品价格详情。 迁移过程中会调用源端和目的端的对象存储服务的API进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说明请参见API请求次数与下载与上传流量费用。
  • 估算迁移计费 一般情况,迁移费用可参考如下公式估算: 迁移费用=调用源端API次数 x 源端API调用单价+调用目的端API次数 x 目的端API调用单价+对象总容量x 源端出口流量单价 调用源端API次数=(对象总数/1000)+对象总数 x 3 调用目的端API次数=对象总数 x 4 源端出口流量单价(根据源端云服务商套餐确定) 华为云只负责收取调用目的端API的费用;调用源端API的费用和源端出口流量费用均由源端云服务商收取。 迁移时忽略的对象由于需要判断对象是否存在+对比数据,因此在源端和目的端均会产生API请求费用,但由于忽略对象并没有迁移,因此不会产生流量费用。
  • 和其他服务的关系 对象存储迁移服务与其他服务的关系如表1所示。 表1 与其他服务的关系 相关服务 交互功能 位置 对象存储服务(Object Storage Service,OBS) 将源端对象数据迁移至华为云创建的OBS桶中。 创建单个迁移任务 创建迁移任务组 数据加密 服务(Data Encryption Workshop,DEW) 将迁移到华为云OBS桶中的文件进行KMS加密。 消息通知 服务(Simple Message Notification, SMN ) 及时获取迁移任务的结果。 云审计 服务(Cloud Trace Service, CTS ) 记录与对象存储迁移服务相关的操作事件,便于日后的查询、审计和回溯。 查看审计日志
  • 产品优势 对象存储迁移服务具备的优势主要有如下几点: 简单易用 对象存储迁移服务的使用方法简单,您通过登录管理控制台创建迁移任务后,即可等待系统完成迁移,中途无需额外操作。 安全认证 对象存储迁移服务的鉴权支持AK/SK方式,启动数据传输时会充分认证身份的合法性,避免数据被盗用。 创建迁移任务时您需要输入AK/SK进行安全认证,校验成功后,系统才可以访问源端和目的端的迁移数据,从而成功创建迁移任务。 迁移任务创建成功后,AK/SK会被加密存放在数据库中。加密AK/SK采用的是业界通用的高级加密标准AES(Advanced Encryption Standard)。 当迁移任务失败、成功或者暂停时,会删除AK/SK。 如果迁移任务处于等待状态,则AK/SK会被暂时保存。AK/SK的最大保存时间为72小时。 传输加密 对象存储迁移服务支持通过HTTPS加密在线传输数据,确保数据在传输过程中的安全。 源端云服务提供商可能只支持HTTP在线传输,请在迁移前及时了解。 存储加密 对象存储迁移服务可以对迁移后存储在华为云中的对象数据进行加密,使您的对象数据存储更安全。
  • OMS权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并授予用户组策略或角色,使得用户组中的用户获得对应的权限,这一过程称为授权。用户获得对应权限后就可以对云服务进行操作。 访问OMS时,需要先切换至授权区域。 授权时,“作用范围”需要选择“区域级项目”,在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。 由于华为云各服务之间存在业务交互关系,对象存储迁移服务的角色依赖其他服务的角色来实现功能。因此给用户对象存储迁移服务的角色时,需要同时授予依赖服务的角色,对象存储迁移服务的权限才能生效。 对象存储迁移服务 (OMS)的所有系统角色,参见表1。 表1 OMS系统权限 角色名称 描述 类别 依赖关系 OMS Administrator 对象存储迁移服务所有权限。 系统角色 依赖OBS Administrator系统策略。
  • 隐私声明 请您在使用我们的产品(或服务)前,仔细阅读并了解本《隐私声明》。 本产品(或服务)的核心业务功能为对象存储数据迁移。 为了完成核心业务功能所需,您同意授权我们收集和使用您的个人信息或个人敏感信息,包括源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,以及调用您的华为云用户ID、项目ID和账号ID。 我们收集您的上述信息,将用于为您提供对象存储迁移服务。对于您的源端云厂商AK和SK、CDN鉴权密钥、目的端华为云AK和SK,系统将于完成您的迁移服务后自动删除上述信息。对于您的华为云用户ID、项目ID和账号ID,将保存至您注销华为云账号时。 我们将会为您的上述信息采取相关安全保障措施,包括但不限于加密。 对于您提供的上述信息,华为云不进行对外共享、转让、公开披露,除非依据您的指示或法律法规的强制性要求。 您有访问、更改、删除您上述信息的权利。对于您权利的行使,请通过提交工单的方式联系我们。 上述所有信息均存储于您所选择的区域隶属的国家境内。 您应确保,您使用本迁移服务符合法律法规的要求。华为云仅按照您的指示,为您提供标准迁移服务,并不对您使用迁移服务的合法合规性负责。 您理解上述信息均是为您提供服务之必需。如您选择不提供或不同意我们收集、使用以上这些信息,将导致您无法正常使用我们的产品(或服务),我们将无法为您服务。 如您有任何疑问,可通过提交工单的方式联系我们。
  • 修订记录 发布日期 修订记录 2024-03-22 第二十三次正式发布。 新增迁移工作原理 新增迁移网络模型 2023-10-17 第二十二次正式发布。 更新计费说明中的API请求次数。 2023-06-20 第二十一次正式发布。 约束与限制新增“迁移范围”、“迁移速度”、“归档数据”限制说明。 2023-06-05 第二十次正式发布。 约束与限制新增目的端桶类别限制。 2023-04-25 第十九次正式发布。 更新约束与限制。 2022-09-27 第十八次正式发布。 新增安全章节。 2022-08-02 第十七次正式发布。 更新产品功能。 更新权限管理。 2021-10-09 第十六次正式发布。 计费说明章节新增“估算迁移费用”。 2021-04-23 第十五次正式发布。 优化约束与限制章节。 2021-03-18 第十四次正式发布。 新增功能特性章节。 2021-03-10 第十三次正式发布。 权限管理章节内容优化。 2021-01-14 第十二次正式发布。 计费说明章节内容优化。 2020-08-06 第十一次正式发布。 计费说明章节内容优化。 2020-06-19 第十次正式发布。 新增个人数据保护机制章节。 2020-04-01 第九次正式发布。 新增计费说明章节。 2020-02-10 第八次正式发布。 新增权限管理章节。 2019-10-15 第七次正式发布。 源端云服务商增加微软云。 2019-08-31 第六次正式发布。 更新产品功能。 更新和其他服务的关系。 2019-07-05 第五次正式发布。 增加隐私声明一节。 2019-04-29 第四次正式发布。 在什么是对象存储迁移服务中,增加应用场景。 在什么是对象存储迁移服务中,删除同名覆盖说明,内容移至常见问题。 在产品功能中,更新功能表述。 在和其他服务的关系中,增加数据加密服务。 2019-04-17 第三次正式发布。 在什么是对象存储迁移服务中,更新同名覆盖的说明。 在和其他服务的关系中,采用表格进行描述。 在产品功能中,新增迁移评估。 2018-12-21 第二次正式发布。 在产品优势中,对传输加密功能增加说明。 2018-04-09 第一次正式发布。
  • 设置流量控制策略 迁移过程中,您可以根据实际情况,随时新增/修改/删除流量控制策略。 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务列表,找到需要新增/修改流量控制策略的任务。单击迁移任务右下角的“详情”。 单击“流量控制”旁边的按钮。 如需新增流量控制,单击“新增流量控制”,设置“开始时间”、“结束时间”和“限制最大流量”。 如需修改流量控制,根据您的实际要求,修改“开始时间”、“结束时间”和“限制最大流量”。 如需删除流量控制,单击对应记录操作列的按钮。 限制最大流量的数值范围:1~ 200MB/s 。 最多可以创建5条记录。 单击“确定”,完成流量控制策略设置。
  • 查看迁移记录 迁移过程中,会生成迁移记录如成功对象、失败对象、忽略对象等列表文件,存放在您的目的桶中。 获取对象列表的方法请参见下表。 如果... 那么... 已迁移对象数大于0 在任务详情中找到“成功对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看成功对象列表。 说明: 成功对象列表路径说明:oms/task/任务名称/success_object_lists/时间戳.success_list.txt。 忽略对象数大于0 在任务详情中找到“忽略对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看忽略对象列表。 说明: 忽略对象列表路径说明:oms/task/任务名称/skip_object_lists/时间戳.skip_list.txt。 失败对象数大于0 在任务详情中找到“失败对象列表路径”,单击路径链接跳转到OBS控制台,下载相应的txt文件,查看失败对象列表。 说明: 失败对象列表路径说明:oms/task/任务名称/failed_object_lists/时间戳.failed_list.txt。 失败对象列表错误码详细说明参见查看失败对象列表。
  • 查看迁移任务详情 登录管理控制台,进入“对象存储迁移服务”页面。 在迁移任务列表的右上角,设置条件过滤迁移任务。 迁移任务组ID:如果迁移任务通过创建迁移任务组生成,输入任务组ID,可以筛选出该任务组下面的所有迁移任务。 任务组ID的具体信息,需要从迁移任务组页面获取。 任务状态:各状态说明参见表1。 表1 迁移任务状态 状态 说明 等待中 迁移任务创建后正在进行后台初始化操作或等待其他正在迁移中的任务完成。 迁移中 迁移任务进行中,对象数据正在从其他云服务商迁移至华为云。 暂停 迁移任务暂停,可手动恢复任务。 暂停中 正在暂停迁移任务。 迁移成功 迁移任务已正常迁移完成。 迁移失败 迁移任务失败,未成功完成迁移。失败的任务可手动重启。 单击迁移任务右下角的“详情”,可查看对象总数/已迁移对象数、成功对象列表路径、失败对象列表路径、忽略对象列表路径以及您在创建迁移任务时设置的各项参数信息。
  • 操作步骤 登录管理控制台,进入“对象存储迁移服务”页面。 在左侧导航树,选择“同步任务”。 单击任务ID记录左侧的,查看同步任务执行情况。如图1所示。具体的参数说明参见表1。 图1 监控同步任务 表1 监控同步任务 参数 说明 接收同步请求对象数(本月) 统计本月截止目前接收到的来自源端发送的同步请求对象数量。 同步对象数(本月) 成功 统计本月截止目前同步成功的对象,可通过对象列表在目的桶中查看同步成功对象列表。 失败 统计本月截止目前同步失败的对象,可通过对象列表在目的桶中查看同步失败对象列表。 忽略 统计本月截止目前同步忽略的对象,可通过对象列表在目的桶中查看忽略对象列表。 说明: 当目的端已存在的对象(对象名、大小相同,且创建时间在源端之后),OMS不会进行迁移,计为忽略对象。 同步对象容量(本月) 统计本月截止目前已成功同步对象的总量大小。 对象列表 OMS会将同步成功对象、失败对象、忽略对象记录为对应的列表,存放于目的桶中,可通过OBS获取这些列表进行同步对象数量及名称校验。具体信息请查看表2。 同步请求接收地址 将源端同步请求发送到本地址,触发同步。同步请求接口请参考创建同步事件。 表2 对象列表信息介绍 对象类型 所在目录 列表内容 成功对象 oms/sync_task/同步任务ID/success_object_lists 发生时间(参照当前区域所属时区)+ 对象名称(未经过URL编码) + 对象大小(单位:Byte) 失败对象 oms/sync_task/同步任务ID/failed_object_lists 例如:oms/sync_task/同步任务ID/failed_object_lists/oms-task-sync-test-20210107111623197_596 说明: 该目录下存放的是迁移过程中同步失败对象。 oms/sync_task/同步任务ID/failed_object_lists/creation_failures 例如:oms/sync_task/同步任务ID/failed_object_lists/creation_failures/ 1609833838031_5ff41d6e85e877149d44bb55_4.failed_list.txt 说明: 该目录下存放的是迁移任务未创建成功导致的失败对象。导致迁移任务创建失账号可能原账号欠费、账号被冻结、无权限。 失败原因+ 发生时间(参照当前区域所属时区) + 失败对象(经过URL编码) + 失败对象(未经过URL编码) + 源端SDK返回的错误码 忽略对象 oms/sync_task/同步任务ID/skip_object_lists 发生时间(参照当前区域所属时区)+ 对象名称(未经过URL编码) + 对象大小(单位:Byte) 待同步对象 oms/sync_task/同步任务ID/object_lists 待同步对象名称。 说明: 在目的桶的“oms/sync_task/同步任务ID/object_lists”路径下,OMS会自动将接收到的待同步对象名称汇总后保存在txt类型的对象列表文件中。 页面展示的统计数据并非实时数据,大约存在一个小时左右的延迟,仅供参考。
  • 源端同步请求配置方式 基于源端云服务提供商的对象存储服务和 函数工作流 服务:通过配置源端云服务提供商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。 客户需要在源端云服务提供商的函数工作流服务中,创建OMS数据同步函数,然后在对象存储服务中设置基于函数工作流服务的事件通知,从而完成源端对象存储服务,函数工作流服务以及OMS服务之间的数据链调用配置。 当源端对象发生新增、修改时,源端对象存储服务会主动调用函数工作流服务中配置的OMS数据同步函数,从而完成源端对象同步迁移。 基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。 当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。
  • 示例流程 图1 给用户授权OMS权限流程 创建用户组并授权 系统策略:如果IAM用户需要OMS的所有操作权限,则为IAM用户授予系统策略。在IAM控制台创建用户组,并授予“OMS Administrator”与“OBS Administrator”。 自定义策略:如果IAM用户只需要拥有OMS的部分操作权限,则使用自定义策略,参见如何获取源端桶权限和目的端桶权限? 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户的“访问方式”必须同时勾选“编程访问”和“管理控制台访问”。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择对象存储迁移服务,进入对象存储迁移服务主界面,单击右上角“创建迁移任务”,如果可以创建迁移任务,表示“OMS Administrator”已生效。 在“服务列表”中选择除对象存储迁移服务外(假设当前策略仅包含OMS Administrator)的任一服务,若提示权限不足,表示“OMS Administrator”已生效。
共100000条