检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？ 当从HTTP/HTTPS数据源迁移数据到对象存储服务（OBS）时，由于OBS不区分URL差异，只识别对象名称，因此同名对象会根据创建工作流时，迁移配置中所选的“同名覆盖方式”策略进行
最新动态 本文介绍了迁移中心 MgC各特性版本的功能发布和对应的文档动态，欢迎体验。 2023年6月 序号 功能名称 功能描述 阶段 相关文档 1 迁移中心上线公测 迁移中心（Migration Center, MgC）是华为云一站式迁移和现代化平台，承载华为云迁移方法论和最佳实
check_hostname,True" ca 否 使用了SSL认证的verify_ca模式时，填写CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置： MySQL 5.6及以下版本：/etc/mysql/ MySQL 5
若是由启动脚本启动的MgC Agent，则寻找 java.exe 的程序，查看其对应pid。若有多个 java.exe 的程序的情况，解决方法如下： 多个 java.exe 的程序，在查询了某个java程序JVM信息后，可通过命令提示符返回的内容中 java_class_path 字段的值来判断是否为MgC
-ef|grep java 输入以下命令后回车，停止采集器插件程序。 Kill -9 PID 输入以下命令，运行新建的启动脚本start.sh。 sh start.sh 查询正在运行的采集器插件的JVM参数。 输入以下命令，查看采集器插件的JVM参数。 ps -ef|grep java 父主题：
注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行。HBase安全集群需要加载认证信息，非安全集群连接时需要清除安全集群的认证信息，因此不能同时执行。 校验任务不支持跨天执行，执行过程中如果跨0点将导致校验结果异常，请合理规划任务以避免跨天运行。
注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行。HBase安全集群需要加载认证信息，非安全集群连接时需要清除安全集群的认证信息，因此不能同时执行。 校验任务不支持跨天执行，执行过程中如果跨0点将导致校验结果异常，请合理规划任务以避免跨天运行。
非安全集群下，与源端ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下，与源端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-M
填写连接MetaStore的端口，默认为9083。 启用元数据仓连接 在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。
Kafka采集器（app-discovery-kafka） 通过连接到Kafka节点，获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-kafka-xxx
MongoDB采集器（app-discovery-mongodb） 采集MongoDB服务信息，获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果（app-discovery-mongodb-xxx
Nacos采集器（app-discovery-nacos） 用于采集Nacos服务的服务管理和配置管理，采集源端业务架构，实现动态服务发现，解析业务与服务间的关系。参数配置说明参见表1。 表1 Nacos采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义
Redis：使用具有基本访问权限的普通账号即可。 Kafka：需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理：利用Java语言编写的应用程序，集成对应中间件的SDK（Software Development Kit，软件开发工具包）。通过SDK提供的方法和A
填写连接MetaStore的端口，默认为9083。 启用元数据仓连接 在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。
填写连接MetaStore的端口，默认为9083。 启用元数据仓连接 在增量数据校验中，如果通过Metastore查询，当分区数量超过30,000时，可能会因为将所有分区信息加载到内存中而导致内存溢出（OOM）。因此，使用MySQL作为元数据仓可以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。
工具概述 迁移中心Agent （MgC Agent，原Edge）是一款用于配合迁移中心进行源端资源发现与采集的工具，同时MgC Agent还提供了工作流模块，用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具，其主要作用是执行数据采
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的 Java 文件（jar包）上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为：migration-dli-spark-1
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的 Java 文件（jar包）上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为：migration-dli-spark-1
安全集群下，与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，搜索“https_port”参数获取。 创建阿里云云数据库 Click
SSL/TLS端口 安全集群下，与源端ClickHouse 服务器通信的HTTPS 端口。 可以登录源端集群的FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，搜索“https_port”参数获取。 在元数据采集区域，单击“创建任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
