检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent的Windows主机,登录迁移中心管理控制台。 在左侧导航栏单击“迁移中心Agent”,进入迁移中心Agent页面。 在Windows版区域,单击“下载安装包”,将最新版本的MgC Agent安装程序下载到Windows主机。 双击最新版本的MgC Agent安装程序,开始安装,覆盖旧版本的MgC
data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为:migration-dli-spark-1
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为:migration-dli-spark-1
data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Linux区域,单击“下载安装包”或“复制下载命令”,将MgC Agent安装程序下载到Linux主机。 执行如下命令,解压MgC Agent安装包。 tar zxvf Edge.tar.gz 执行如下命令,进入MgC Agent安装目录中的scripts目录。
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。
导入RVTools资源 采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。 支持区域: 全部 采集主机性能 迁移方案设计 迁移中心提供一系列评估功能,包括目的端规格评估与推荐、多种迁移工具的选项及对比,并支持一站式资源购买。
阿里云 ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)