检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集器管理 MgC Agent(原Edge)安装包中带有部分采集器安装包,在安装MgC Agent时,这些采集器也会一并安装。本节为您介绍升级采集器和添加新采集器的方法。 使用场景 离线升级:用于更新已安装的采集器。 手动升级:用于新增采集器或修改采集器配置文件后的更新。 前提条件
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。如您有特殊需求必须登录
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。如您有特殊需求必须登录
阿里云 ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
本地发现与采集 MgC Agent(原Edge)提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的主要功能转向与云端服务的协同工作
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,如果遇到极大值或极小值
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
配置Edge Tomcat服务器JVM参数 Windows系统 以下步骤以Windows 11 为例。 启动脚本位置。 在MgC Agent安装目录下(默认为C:\Edge):.\tools\SecAs-1.2.29\bin\startup.bat,启动脚本。 配置JVM参数。 进入
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据
Windows主机迁移后数据盘缺失,如何解决? 问题描述 Windows主机迁移完成后,登录目的端主机发现磁盘数量与源端主机不一致,有数据盘缺失,但在目的端控制台查看磁盘数量正常。 问题分析 出现该问题,可能是因为源端主机的磁盘策略为共享磁盘脱机或者离线模式,迁移后会导致数据盘处于脱机状态