检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta
请务必在解冻完成后再创建迁移工作流。 请根据待迁移的数据总量评估并设置解冻有效期,以防迁移期间数据再次变成归档状态。 解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。 并发子任务数 用户自定义。配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否
通过HTTP迁移Ceph存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将Ceph存储的数据迁移至华为云对象存储服务(OBS)的方法。 支持的区域 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
通过HTTP迁移MinIO存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将MinIO存储的数据迁移至华为云对象存储服务(OBS)的方法。 支持的区域 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一
在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
Agent上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
{MgC Agent安装路径}/logs/audit/目录下,压缩包名称为:年份-月份.zip,例如:2024-xx.zip。 父主题: 云边协同
无此状态,如出现该状态,请联系华为云技术支持。 冻结 无此状态,如出现该状态,请联系华为云技术支持。 删除设备 单击设备操作列的“删除”按钮,确认删除当前设备,单击“确认”,即可删除。 如果该设备正在进行资源采集,则设备无法删除。 父主题: 云边协同
并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。 前提条件 已下载并安装迁移中心Agent,并完成用户注册。
Agent上添加凭证的资源类型包括:私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件适用于添加谷歌云平台凭证。配置文
Agent,并完成用户注册。 已连接迁移中心。 操作步骤 使用注册的用户名、密码登录MgC Agent(原Edge)控制台。 在左侧导航树选择“云边协同 > 大数据”,进入大数据页面。 在MgC Agent凭证管理界面的桶配置区域,单击“配置”按钮,弹出“桶配置”窗口。 图1 配置桶 根据表1,配置日志桶。
并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。 在元数据采集区域,单击“采集任务”,进入元数据采集页面。 在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击
)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 检查阿里云迁移账号是否拥有AK/SK以及只读访问云服务器ECS的权限(AliyunECSReadOnlyAccess),如果没有,请参考如下步骤生成AK/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理
本最佳实践主要介绍从阿里云ECS迁移至华为云ECS的详细步骤和注意事项。 本指导包含以下关键步骤: 准备工作:确保具备必要的账号以及账号满足权限要求。 安装MgC Agent(原Edge):下载并安装MgC服务所需的云边协同组件MgC Agent。 资源采集:采集源端阿里云ECS主机的信息。
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略: