检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
COL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。 开始配置工作流 基于存储迁移工作流模板配置更加详细的参数,帮助您完成迁移工作。
修订记录 发布日期 修订记录 2024-05-07 第十五次正式发布。 新增阿里云OSS配置同步请求 新增腾讯云COS配置同步请求 2024-03-22 第十四次正式发布。 新增自动检查并重启失败的迁移任务 新增青云QingStor迁移至华为云OBS教程 新增谷歌云storage迁移至华为云OBS教程
请确保URL列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 请确保URL列表文件中的URL可通过HEAD和GET请求正常访问。 父主题: HTTP/HTTPS 数据源迁移至华为云OBS教程
BandwidthPolicyDto objects 配置流量控制策略。数组中一个元素对应一个时段的最大带宽,最多允许5个时段,且时段不能重叠。 数组长度:0 - 5 smn_config SmnInfo object SMN消息发送配置。 source_cdn SourceCdnResp
HTTP/HTTPS 数据源迁移至华为云OBS教程 背景信息 准备工作 创建迁移任务 创建迁移任务组 父主题: 各云服务商迁移教程
CDN鉴权秘钥,如果CDN需要进行鉴权,则此选项为必选。 无需授权:无需配置此项。 Qiniu:无需配置此项。 Aliyun:根据authentication_type指定的鉴权方式配置此项。 KingsoftCloud:无需配置此项。 最小长度:0 最大长度:255 authentication_type
的数据)并确认选择。 配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。 对象前缀方式 在创建任务时,迁移方式选择“输入对象前缀”。 在输入框键入需要迁移的对象前缀(包括根目录下的数据)并单击“添加”。 如需迁移多个不同前缀对象,可继续添加。 配置需要的高级参数并创建任务,即可迁移已添加的根目录数据。
数据迁移 根据迁移配置,华为云OMS服务会开始从源端存储系统拉取数据。同时,服务会确保数据的完整性和一致性,避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能,当迁移过程中出现网络中断或其他异常情况时,服务可以从断点处恢复传输,确保数据的完整性和迁移的连续性。 父主题:
设置任务参数页面 在“源端配置选项”区域,选择迁移方式为“选择文件/文件夹”,如图6所示。 图6 选择迁移方式 单击“选择”按钮,弹出“选择文件/文件夹”窗口,如图7所示。勾选待迁移的文件(单个或多个文件),单击“确定”按钮。 图7 选择文件 如图8所示,在“目的端配置选项”区域,保存到
登录函数工作流控制台,在左侧导航栏选择“函数 > 函数列表”,进入函数列表界面。 单击“创建函数”,进入创建函数流程。 填写函数配置信息。输入基础配置信息,完成后单击“创建函数”。 函数名称:输入“check_retry_task”。 委托名称:选择default。 运行时语言:选择“Java
单个任务失败对象列表最多记录10万个失败对象。 说明: 失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。 父主题: HTTP/HTTPS 数据源迁移至华为云OBS教程
腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 支持的功能 功能 说明 创建同步任务 填写源端和目的端AK/SK并配置同步任务参数。 源端配置同步请求 源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数
启失败的迁移任务。 确认目的端桶的基础配置中是开启了默认加密,如果需要此功能,请重新创建相同源端和目的端的任务,并在第二步设置任务参数时,在目的端配置选项的服务端加密参数勾选KMS。 如果目的端桶开启了默认加密,但不需要此功能,请在基础配置中关闭默认加密,并重启失败任务。 如果目
迁移成功,但是迁移进度显示为0%;总容量有数据,但是已传输容量显示为0。 问题分析 该现象一般出现在增量迁移场景。创建增量迁移任务时,在“源端配置选项”区域,元数据迁移方式选择了“保留元数据”。增量迁移时,如果源端对象仅元数据信息发生变化,对象的内容、大小并没有改变,则仅迁移改变的元
解冻完成后,请参考腾讯云COS迁移至华为云OBS教程,将数据迁移到华为云OBS。 COSCMD工具解冻 执行pip命令,安装coscmd工具。 pip install coscmd 执行config命令生成配置文件。 coscmd config -a ak -s sk -b bucket -r region
String 从指定域名获取对象。 最小长度:0 最大长度:1024 protocol String 协议类型,支持http和https协议。 枚举值: http https authentication_type String 鉴权类型: NONE, QINIU_PRIVATE_AUTHENTICATION
String 从指定域名获取对象。 最小长度:0 最大长度:1024 protocol String 协议类型,支持http和https协议。 枚举值: http https authentication_type String 鉴权类型: NONE, QINIU_PRIVATE_AUTHENTICATION
本章节指导用户使用“源端/目的端双写方案”方案迁移增量对象数据。此方案优势在于可以确保业务零中断。 主要迁移步骤如下所示: 用户在全量迁移前,需配置业务同时向源端和目的端写数据,保证增量数据在两端都存在。 使用OMS完成源端数据的全量迁移。迁移过程中OMS会自动识别源端和目的端的同名对
OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。 若迁移任务配置“同名对象覆盖方式”选择“不覆盖”或者“全覆盖”,则步骤5~7跳过。 OMS服务请求获取源端对象数据。 源端响应对象数据。 OMS服务将对象数据写入目的端。
时,不做对比直接跳过迁移。SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE:大小/最后修改时间对比覆盖。默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。