检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
新增大数据校验数据连接时,凭证列表数据缺失 问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在MgC Agent(原Edge)添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在MgC
新增大数据校验数据连接时,凭证列表数据缺失 问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在MgC Agent(原Edge)添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在MgC
公网采集失败,提示:“网络连接超时”或“其他异常” 问题描述 在使用公网发现功能进行源端资源采集时,遇到采集失败,错误提示:“网络连接超时”或“其他异常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常:
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
设备管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的MgC Agent(原Edge)。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。 单击左侧导航栏的“迁移中
执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 问题现象 执行脚本后报错,错误信息为“[ERROR] Failed to update hosts on xxx.xxx.x.xx: [xxx.xxx.x.xx] 连接到远程服务器 xxx.xxx.x.xx 失败有关详细信息,请参阅
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
MgC Agent(原Edge)提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的主要功能转向与云端
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
应的密码,单击“确定”,测试是否连接成功。 如果连接成功,可以输入任意命令来测试联调性。 如果连接失败,请参考WinRM远程连接失败故障排查,进行处理。 WinRM远程连接失败故障排查 如果远程连接测试失败,请参考方法进行故障排查: 检查端口连接:使用 telnet 命令测试源端
也可以自定义名称。 元数据连接 选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Doris”,单击“下一步”。 根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称
根据表2,填写相应参数。 表2 添加数据库参数配置说明 参数 说明 名称 用户自定义 采集设备 选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。 服务名称/SID
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。