检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 查看血缘 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。 父主题: 血缘采集
数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。
内容校验结果存放路径为:obs://桶名/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件 如果指定的文件夹不存在,上传日志文件时系统将自动创建该文件夹。 日志桶参数配置完成后,单击“确定”按钮,设置日志桶完成。
支持的校验方式 Hive 全量校验 日级增量校验 小时级增量校验 指定日期校验 DLI MaxCompute 全量校验 日级增量校验 小时级增量校验 指定日期校验 Doris 全量校验 日级增量校验 小时级增量校验 Hbase 全量校验 指定时间校验 ClickHouse 全量校验 阿里云云数据库
DescribeDisks List ecs:DescribeMetricData List 存储 NAS nas:DescribeFileSystems Read OSS ListBuckets oss:ListBuckets oss:DescribeMetricData List 数据库
数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC Agent所安装主机的计算资源。
元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。
然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 深度采集原理 MgC对AWS 容器资源进行深度采集的原理图,如图2所示。
评估推荐 通过采集源端主机、数据库、对象存储等资源信息和应用的关联关系进行评估分析,根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,支持导出评估结果。
/tools/plugins/collectors/rda-collector-server,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。
数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,注册华为账号以及创建IAM用户的方法请参考准备工作。
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用MgC Agent远程在线采集 通过调用API在线采集云平台资源 利用MgC Agent远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景