检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理
最大长度限制 OBS -> NAS 最大长度(路径+指定前缀)限制为4096字节。 最大文件夹长度限制为255字节。 SMB -> NAS NAS -> OBS 最大长度(路径+指定前缀)限制为1023字节。 最大文件夹长度限制为1023字节。 SMB -> OBS OBS -> SMB
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
将源端云平台账号对应的AK/SK添加至MgC,作为采集源端桶的凭证。认证方式选择AK/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 在华为云创建用于接收源端对象存储数据的OBS桶(即目的端桶),创建方法请参考创建桶。如果您已有目的端桶,则无需重新创建。
选择“华为云OBS”. AK 输入华为云迁移账号的访问密钥和私有密钥。该账号需要拥有目的端桶的读写权限。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4
选择“华为云OBS”. AK 输入华为云迁移账号的访问密钥和私有密钥。该账号需要拥有目的端桶的读写权限。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4
Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入
Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入
添加资源凭证 凭证是资源采集的唯一认证方式,在进行资源采集前,您需要在Edge上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。
钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证,可以将其删除后,重新添加。 单击已保存凭证后面的“删除”按钮,确认删除后,单击“确定”按钮,删除凭证。 参考添加华为云凭证,重新添加新的华为云凭证。 父主题: 上云操作
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解
单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根据表1,填写相应参数后,单击“确认”,系统会自动检查凭证绑定状态和进行信息采集。 表1 添加主机参数说明 参数 说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。
主机标准迁移模板 - 导入OBS桶里的目的端配置 MgC MgC ImportTargetConfigurationAgencyPolicy obs:object:GetObject(获取对象内容、获取对象元数据) obs:bucket:ListBucket(列举桶内对象) obs:bucke
任务执行期间重启Edge,以避免任务失败。 添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
CBR等服务费用: 云备份费用 跨可用区(AZ)迁移,主要是使用云备份服务中的“云服务器备份”的功能,在迁移过程中,假如源端没有绑定相关的存储库,则迁移服务会按需创建一个容量为源端服务器总容量1.5倍的存储库,用于辅助迁移,该存储库在迁移结束后自动删除。 有关云备份服务的收费标准,请参见CBR计费说明。
(Object Storage Migration Service,OMS) 提供对象存储迁移能力,可以将其他云平台对象存储服务中的数据迁移至华为云对象存储服务OBS中。 云备份(Cloud Backup and Recovery,CBR) 提供对云硬盘、弹性云服务器的备份保护服务。 镜像服务(Image
tjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]
tjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]