检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
目的端同一目录下不会出现同名对象,无论对象的大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名对象,即使源端有大小写差异的同名对象,这些对象也会被跳过,不再迁移。 直接覆盖:后续同名(即使大小写不同)的对象将覆盖目的端文件系统中之前迁移的同名对象。最终,在目的端文件系统中只保留最后迁移的同名对象。
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。
为采集源端桶的凭证。认证方式选择AK/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 在华为云创建用于接收源端对象存储数据的OBS桶(即目的端桶),创建方法请参考创建桶。如果您已有目的端桶,则无需重新创建。
步骤二:上传URL列表文件至OBS桶 登录OBS管理控制台,在左侧导航栏选择“桶列表”。 在桶列表中,单击创建的目的端OBS桶,进入“对象”页面。 单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:minioUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。
步骤二:上传URL列表文件至OBS桶 登录OBS管理控制台,在左侧导航栏选择“桶列表”。 在桶列表中,单击创建的目的端OBS桶,进入“对象”页面。 单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:cephUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。
高级选项参数说明 参数 说明 目的端存储类型 选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。 KMS加密 不勾选,迁移后对象状态与目的端桶级服务端加密状态保持一致。 勾选,所有对象在迁移到OBS桶后都将被加密存储。 说明: 使用KMS服务端加密可能会降低迁移速率10%左右。
配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择方案后,可以看到该方案的配置概览。单击“查看详情”,可以查看该方案的更多信息。 在迁移集群区域,选择迁移使用的集群。默认使用迁移方案中配置的集群,您也可以在下拉列表中重新选择集
com,则输入test。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输
须知: 如果迁移对象中包含软链接,在迁移过程中,可能会因为软链接指向的对象尚未完全迁移到目的端导致校验失败,进而使任务失败。对于这种情况,请等待软链接指向的对象完全迁移到目的端后重试任务。 迁移范围 支持单桶迁移和批量桶迁移。 元数据迁移 仅支持中文字符、英文字符、数字和中划线【-】迁
通过列表文件过滤迁移,只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下: 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL
获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于接收源端数据的OBS桶,区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。 权限配置 确保源端账号和目的端账号拥有迁移需要的权限,详
创建用户并授权使用MgC 如果您需要对您所拥有的MgC进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户
迁移任务类型 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过对象列表文件过滤迁移,只迁移对象列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下: 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.tx
Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。
输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 所有待迁移桶的迁移设置完成后,单击“下一步”,进行目的端配置。 单击操作列的“修改”,选择目的端凭证和目的端桶,输入目的端前缀(可选),单击“保存”。
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。
SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库
计费说明 迁移中心当前免费使用,但在进行工作流迁移时,会产生其他相关服务的费用。 主机迁移计费说明 在进行主机迁移过程中,会产生少量其他服务费用,详情请参见SMS计费说明。 对象存储迁移计费说明 在进行对象存储迁移过程中,会产生华为云OBS、源端云厂商API请求费用,详情请参考OMS计费说明。