检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake不存在元数据,无法通过数据湖元数据同步方式进行数据采集,需要通过导入数据的方式获取元数据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
are Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。 采集原理:利用kspider工具进行数据采集。 vCenter采集 权限要求:需要
迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。 选择服务,单击鼠标右键
迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用列表中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。 选择服务,单击鼠标右
用CSV文件中提供的密码进行自动登录。 脚本执行机环境配置 确保执行脚本的Linux主机上安装了以下必要的工具和命令: SSH工具:用于建立与远程主机的安全连接。 sed工具:用于编辑和修改/etc/hosts文件内容。 setsid命令:用于在SSH连接中避免交互需求(通常用于避免密码输入时的交互)。
深度采集。 在源端内网环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表,单击存储资源的资源数量,进入资源列表页面的存储页签。 在对象存储资源列表中,单击深度采集配置列的“配置”,弹出配置窗口。 选择源端安装的Edge工具和相应的资源凭证,单击“确认”完成配置。如
如迁移工具状态为“在线”、“已启用”,代表该工具已被用于对数相关操作,单击“确定”按钮,继续使用该工具进行后续操作。 如迁移工具状态为“在线”、“未启用”,代表该工具尚未被用于对数,单击“启用”按钮,启用该工具进行后续操作。 如迁移工具状态为“离线”、“已删除”,代表该工具已被删
深度采集。 在源端内网环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表,单击存储资源的资源数量,进入资源列表页面的存储页签。 在对象存储资源列表中,单击深度采集配置列的“配置”,弹出配置窗口。 选择源端安装的Edge工具和相应的资源凭证,单击“确认”完成配置。如
仅需在源端创建元数据连接。 连接名称 默认创建名称为“Hive-Metastore-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在源端环境中部署的迁移工具Edge。 启用安全连接 选择是否启用安全连接。 MetaStore在非安全集群下,可以不启用安全连接。 MetaStor
Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装MgC Agent。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图
计费模式:建议选择按需计费。 带宽大小:推荐5 Mbit/s。 安装迁移工具Edge并连接迁移中心 安装Edge工具:在购买的ECS主机上,安装用于配合数据校验的工具Edge,方法请参见安装Linux版本的Edge工具。 注册Edge用户:在浏览器中访问Linux主机的网卡IP地址+端
而实现更好的组织管理和资源分配。 下载并安装MgC Agent(原Edge) MgC Agent是用于配合迁移中心进行源端资源发现与采集的工具,同时MgC Agent还提供了工作流模块,用于配合云端迁移工作流任务。 采集主机资源 通过公网采集/内网采集/手动添加等方式,获取源端主机资源。
速率,网络连接数等性能信息。 支持区域: 全部 采集主机性能 迁移方案设计 迁移中心提供一系列评估功能,包括目的端规格评估与推荐、多种迁移工具的选项及对比,并支持一站式资源购买。 支持区域: 全部 规格评估 迁移风险评估 购买资源 迁移方案配置 迁移中心为多种资源的不同迁移方案配
所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“Hive-Metastore-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在源端环境中部署迁移中心Agent。 启用安全连接 选择是否启用安全连接。 MetaStore在非安全集群下,可以不启用安全连接。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
复杂项目 公网发现与采集 内网发现与采集 导入应用关联文件 导入工具采集结果 导入阿里云资源清单 导入RVTools资源 父主题: 资源采集