检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
将源端云平台账号对应的AK/SK添加至MgC,做为采集源端桶的凭证。认证方式选择AK/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 在华为云创建用于接收源端对象存储数据的OBS桶(即目的端桶),创建方法请参考创建桶。如果您已有目的端桶,则无需重新创建。
选择“华为云OBS”. AK 输入华为云迁移账号的访问密钥和私有密钥。该账号需要拥有目的端桶的读写权限。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4
选择“华为云OBS”. AK 输入华为云迁移账号的访问密钥和私有密钥。该账号需要拥有目的端桶的读写权限。 SK 桶 选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理
最大长度限制 OBS -> NAS 最大长度(路径+指定前缀)限制为4096字节。 最大文件夹长度限制为255字节。 SMB -> NAS NAS -> OBS 最大长度(路径+指定前缀)限制为1023字节。 最大文件夹长度限制为1023字节。 SMB -> OBS OBS -> SMB
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
任务执行期间重启Edge,以避免任务失败。 添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
Windows主机,请添加Administrator账号和密码做为采集凭证。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 首次添加时,在云边协同区域,单击“添加资源>主机”,弹出添加主机窗口。 非
Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入
AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您需要替换保存的华为云凭证,可以将其删除后,重新添加。 单击已保存凭证后面的“删除”按钮,确认删除后,单击“确认”按钮,删除凭证。 参考添加华为云凭证,重新添加新的华为云凭证。 父主题: 云边协同
按钮。支持添加多个步骤。 迁移阶段中的步骤添加完成后,单击“确认”按钮,完成迁移阶段的添加。 只有自行添加的阶段,可以进行修改、删除操作,模板中的迁移阶段无法进行修改和删除。 添加步骤 在迁移工作流详情页面,将鼠标放至步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。
如何获取添加Azure凭证所需的信息? 在添加Azure平台资源采集凭证时,需要填写租户ID、客户端(应用)ID、订阅ID以及密钥等信息,本节介绍如何获取这些凭证信息。 获取订阅ID 登录Azure控制台,进入主页。 在搜索框中输入“订阅”,选择“订阅”服务,进入订阅页面。 在订
创建表组并添加数据表 将源端数据表加入表组中,为后续对数作业做准备。 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆
云边协同 连接迁移中心 添加/修改华为云凭证 添加资源凭证 配置OBS桶 设备管理 事件记录
tjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]
输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输入目的端OBS桶所在区域的终端节点(Endpoint)信息。 说明: 可在OBS桶的基本信息查看。 指定前缀 将对象迁移到指定前缀,例如:源端对象路径为/A/B/C
tjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"]