检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对比;迁移时将源端数据下载后上传到目的端;迁移完成后校验文件,会产生API请求。API请求分为每个对象基本请求+ 公共请求(列举对象,上传失败对象列表,网络异常重试,自动解冻等)。不同场景下,API请求次数不同。 目的端不存在源端同名对象 对源端的操作 迁移前判断对象是否存在+对比数据需要一次请求:head
务的合法合规性负责。 您理解上述信息均是为您提供服务之必需。如您选择不提供或不同意我们收集、使用以上这些信息,将导致您无法正常使用我们的产品(或服务),我们将无法为您服务。 如您有任何疑问,可通过提交工单的方式联系我们。
当迁移的对象数量较少(小于50个)且大小很大时,由于只会有一个线程迁移单个对象,对象数又较少,导致迁移的并发低,所以迁移速度会较慢。 这种情况请耐心等待,无法提升迁移的速度。 大对象会进行分片上传,上传完成一个分片才会对该分片的迁移量计入速度计算,速度计算结果是不太准确的,可能导致不同时间段速率忽高忽低的情况。
询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 图1 云审计服务 日志 用户开通云审计服务并创建和配置追踪器后,CTS可记录与对象存储迁移服务相关的操作事件。 详细的操作列表以及查看方法,请参见查看审计日志。
域的OBS桶指定目录(文件夹)下。指定目录(文件夹)只能存放URL列表文件。 请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 请确保URL列表文件中的URL可通过HEAD和GET请求正常访问。 父主题: HTTP/HTTPS 数据源迁移至华为云OBS教程
在迁移开始前,华为云OMS服务会先对源端存储系统中的数据进行识别,包括对象大小、最后修改时间以及位置等关键信息。基于这些信息,服务会为用户生成一个对应的迁移任务配置,确保迁移过程的高效性和准确性。 父主题: 迁移工作原理
钥”窗口。 在创建窗口中,输入您想要为 API 密钥设置的名称,例如“我的API密钥”。 创建窗口中,不填写IP白名单,否则将造成迁移节点无法访问源端对象存储服务API。 单击“提交”按钮后,系统会生成一个新的 API 密钥对,包括 API 密钥 ID 和 API 私钥。同时,会
腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 支持的功能 功能 说明 创建同步任务 填写源端和目的端AK/SK并配置同步任务参数。 源端配置同步请求 源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数
设置任务参数页面 在“源端配置选项”区域,选择迁移方式为“选择文件/文件夹”,如图6所示。 图6 选择迁移方式 单击“选择”按钮,弹出“选择文件/文件夹”窗口,如图7所示。勾选待迁移的文件(单个或多个文件),单击“确定”按钮。 图7 选择文件 如图8所示,在“目的端配置选项”区域,保存到
导致迁移速度缓慢,影响您的整体迁移进度。 在OBS桶中仅开启归档数据直读功能,仅支持直接下载归档存储数据,并未修改相应存储类型,因此OMS无法正常直接下载对象。 归档存储开启直读,和使用OMS自动恢复归档存储,源端对象存储服务都会收取相应费用,详见产品价格详情。 迁移归档数据时,
是否存在下一页 next_marker String 查询下一页所需要的标记(此页末尾对象名,偏移量) 最小长度:0 最大长度:1024 records Array of ShowBucketRecord objects 查询桶信息返回的record 数组长度:0 - 100 表5 ShowBucketRecord
根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。 开始配置工作流 基于存储迁移工作流模板配置更加详细的参数,帮助您完成迁移工作。 确认并创建工作流,开始执行迁移任务。 在工作流详情页面,可以查看该存储迁移工作流的配置信息和资源迁移进度。 具体操作步骤请参见创建存储工作流。 父主题:
的数据)并确认选择。 配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。 对象前缀方式 在创建任务时,迁移方式选择“输入对象前缀”。 在输入框键入需要迁移的对象前缀(包括根目录下的数据)并单击“添加”。 如需迁移多个不同前缀对象,可继续添加。 配置需要的高级参数并创建任务,即可迁移已添加的根目录数据。
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
表1 OMS最佳实践一览表 最佳实践 使用场景 优势 使用“回源配置方案”迁移增量对象数据 大批量数据迁移场景使用,优先选择此方案。此方案受OBS限制,具体的约束请见数据回源。 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高:割接前用户业务校验充分,增量迁移时全量扫描校验确保数据无遗漏。
bandwidth_policy 是 Array of BandwidthPolicyDto objects 配置流量控制策略。数组中一个元素对应一个时段的最大带宽,最多允许5个时段,且时段不能重叠。 数组长度:0 - 5 表4 BandwidthPolicyDto 参数 是否必选 参数类型
迁移成功,但是迁移进度显示为0%;总容量有数据,但是已传输容量显示为0。 问题分析 该现象一般出现在增量迁移场景。创建增量迁移任务时,在“源端配置选项”区域,元数据迁移方式选择了“保留元数据”。增量迁移时,如果源端对象仅元数据信息发生变化,对象的内容、大小并没有改变,则仅迁移改变的元
bandwidth_policy 是 Array of BandwidthPolicyDto objects 配置流量控制策略。数组中一个元素对应一个时段的最大带宽,最多允许5个时段,且时段不能重叠。 数组长度:0 - 5 表4 BandwidthPolicyDto 参数 是否必选 参数类型
同步任务 创建同步任务 源端配置同步请求 监控同步任务状态
本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对