检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.1,主机名是source-node-01,则添加: 192.168.1.1 source-node-01 完成所有映射的添加后,保存并关闭/etc/hosts文件。 为了确保配置正确,可以通过ping命令测试主机名解析是否成功。例如: ping source-node-01 操作步骤
非安全集群下,与源端ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-M
Yarn:适用于大型分布式环境,可以充分利用集群资源,提高任务的并行度和效率。 Local:适用于小规模数据集或开发测试环境,可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求,添加命令行参数。 命令参数(Delta Lake和Hudi配置参数) 安全配置(仅创建Delta Lake目的端任务时可以配置)
Yarn:适用于大型分布式环境,可以充分利用集群资源,提高任务的并行度和效率。 Local:适用于小规模数据集或开发测试环境,可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求,添加命令行参数。 命令参数(Delta Lake和Hudi配置参数) 安全配置(仅创建Delta Lake目的端任务时可以配置)
代表该主机未安装rng-tools工具,请使用如下命令来安装rng-tools工具。 yum -y install rng-tools 关闭安装MgC Agent的Linux主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。 在安装MgC
署及云上网络规划奠定基础。 安全架构调研:识别出客户系统的安全风险,包括潜在的攻击面、漏洞及威胁,协助企业优化安全策略,强化访问控制与身份验证机制,提升系统安全性及员工安全意识。 业务架构调研:通过业务架构调研问卷,全面掌握业务需求与挑战,精准定位业务痛点,评估迁移风险,科学制定迁移计划,确保迁移项目的高成功率
署及云上网络规划奠定基础。 安全架构调研:识别出客户系统的安全风险,包括潜在的攻击面、漏洞及威胁,协助企业优化安全策略,强化访问控制与身份验证机制,提升系统安全性及员工安全意识。 业务架构调研:通过业务架构调研问卷,全面掌握业务需求与挑战,精准定位业务痛点,评估迁移风险,科学制定迁移计划,确保迁移项目的高成功率
选择“是”,生成目的端后,目的端保持关机状态。 选择“否”,生成目的端后,目的端自动开机。 增量备份前源端是否关机 选择“是”,工作流在执行增量备份前,会关闭源端主机,这样可以最大限度保证新建目的端数据与源端数据的一致性。 选择“否”,工作流在执行增量备份时,依旧保持开机状态。 创建系统盘镜像
选择“是”,生成目的端后,目的端保持关机状态。 选择“否”,生成目的端后,目的端自动开机。 增量备份前源端是否关机 选择“是”,工作流在执行增量备份前,会关闭源端主机,这样可以最大限度保证新建目的端数据与源端数据的一致性。 选择“否”,工作流在执行增量备份时,依旧保持开机状态。 创建系统盘镜像
非安全集群下,与ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与ClickHouse 服务器通信的HTTPS 端口。 表6 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建
端口请查看通信矩阵。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括:
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 主机(含深度采集) 数据库(含深度采集) 容器(含深度采集) 平台(含深度采集) 存储 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集
txt文件中。 打开生成的URL列表文件(在本文示例中为test2.txt),您将看到每个文件的共享下载链接。通过浏览器尝试访问这些链接,以验证生成的URL是否有效。 如果链接无法访问,请检查文件的访问权限是否设置为可读,并重新生成链接。 根据MgC的要求,编辑URL列表文件内容,
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
自建Oracle调研评估指导 适用场景 拥有自建Oracle数据库,MgC支持自建Oracle的采集,采集流程和其他Oracle深度采集基本一致。 采集原理 拥有的windows/linux机器,能与自建Oracle数据库网络互通,安装对应版本的MgC Agent(原Edge)。
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)