检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各云服务商配置同步请求教程 阿里云OSS配置同步请求 腾讯云COS配置同步请求
使用“回源配置方案”迁移增量对象数据 本节指导用户使用回源配置方案迁移增量对象数据。 优势 此方案优势在于: 业务零中断,增量迁移间未同步的数据通过回源配置保证用户无感知。 可靠性高,割接前可提前验证,迁移后可校验。 操作流程 “回源配置方案”迁移增量对象数据流程图,如图1所示。
r.uri = r.uri + "?" + queryString (可选)展开“高级配置”,您可以根据实际需求修改环境配置、权限配置、层配置、网络配置等,详情参见函数相关配置。 配置触发器,在“创建触发器”中选择自定义创建。 触发方式:选择“COS触发”。 COS Bucket:选择同步任务的源端桶。
Blob、NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、HTTP/HTTPS数据源迁移。 逻辑架构图 图1 存储迁移逻辑架构图 迁移流程实施 准备工作 创建目的端对象桶或者弹性文件系统。 评估集群 根据源端文件数量,自行评估集群大小及规格,将用于工作流中新建集群。
创建的函数需要与源端桶在同一区域。 在创建函数页面,选择事件函数,配置以下参数,然后单击创建。 表1 参数配置说明 参数 配置说明 函数名称 用户自定义。 运行环境 选择Python3。 代码上传方式 选择通过zip包上传代码。将以下两个代码文件index.py和signer.py打包为至一个zip包并上传。
源端同步请求函数工作流创建与配置完成后,需要配置测试事件来进行检验。 单击“代码”页签,在代码源区域的下拉菜单中选择“配置测试事件”,弹出配置测试事件页面,如图6所示。配置相关参数,参见表4。 图6 配置测试事件 表4 参数配置说明 参数 配置说明 配置测试事件 选择创建新的测试事件
腾讯云 COS 金山云 KS3 七牛云 KODO 优刻得 US3 亚马逊 S3 微软 Blob NAS_SMB NAS_NFS_V3_MOUNT NAS_NFS_V3_PROTOCOL HTTP/HTTPS数据源 支持专线迁移 支持集群扩容 支持迁移前评估 支持批量桶迁移 父主题:
业务割接方案最佳实践 使用“回源配置方案”迁移增量对象数据 使用“源端/目的端双写方案”方案迁移增量对象数据 使用"多次同步方案"迁移增量对象数据
存储,但通常情况下,最好使用第一个密钥,并保留第二个密钥在轮换密钥时使用。 获取共享访问签名 在 Azure 门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“共享访问签名” , 设置页面部分必要参数,参见表1 设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。
如何迁移根目录下的数据? 有两种方式可选择并迁移根目录下的数据: 文件/文件夹方式 在创建任务时,迁移方式选择“选择文件/文件夹”。 单击“选择”,在弹窗中勾选自己需要迁移的数据(默认展示根目录下的数据)并确认选择。 配置需要的高级参数并创建任务,即可迁移已选择的根目录数据。 对象前缀方式
询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 图1 云审计服务 日志 用户开通云审计服务并创建和配置追踪器后,CTS可记录与对象存储迁移服务相关的操作事件。 详细的操作列表以及查看方法,请参见查看审计日志。
创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。 已停止 表明停止对源端对象存储服务数据的同步。 说明:
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
存放迁移数据的华为云OBS桶。 单击“下一步”,进入“设置任务参数”页签。 设置“源端配置选项”区域参数。 选择迁移方式为“选择文件/文件夹”,如图2所示。 图2 选择迁移方式 设置“目的端配置选项”区域参数。 保存到指定前缀。 选择“关闭”,源端对象迁移到目的端后,对象名保持不变。
径”有文件链接,请参考方式二进行解决。 方式二:查看失败对象列表 您只有在创建任务时开启“记录失败对象”选项,才能获取相应的失败对象列表文件。 确认源端失败对象名。 在任务列表中,选择状态为迁移失败的任务,单击任务名称,右侧弹出的任务详情,单击“失败对象列表路径”后的文件链接,进入OBS服务下载该文件。
腾讯云 谷歌云 七牛云 青云 百度云 金山云 优刻得 支持的功能 功能 说明 创建同步任务 填写源端和目的端AK/SK并配置同步任务参数。 源端配置同步请求 源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数
Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 415 Unsupported Media Type 服务器无法处理请求附带的媒体格式。 500
说明 选择文件/文件夹 已知迁移对象文件名或者所在文件目录。 选择文件夹:迁移勾选文件夹下的所有对象。 选择文件:迁移勾选的对象文件。 支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。 指定对象列表 已知所有需要迁移对象的文件名,并将所有文件名放置在一个
0013 任务参数校验失败, 请确保对象列表文件存在且可以正常获取(具有读写权限)。 TRF.0014 任务参数校验失败, 请确保对象列表文件大小不能超过100MB且必须是“.txt”类型的文件。 TRF.0018 任务参数校验失败,请确保对象列表文件中每一行的长度都不超过65535。 TRF
是否启用代理(y or n):n 配置文件 [ config1 ] 已修改 是否使用该配置作为默认配置(当前默认配置为:< config >)(y or n)? 首次创建的配置文件时会自动将该配置作为默认配置。 配置加密只加密到公私钥,并且当前配置文件只在初次创建时可选是否加密。 填写代理地址时只需要填写“