检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具E
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验 阿里云
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题:
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。
导入数据表时,系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性,建议同一数据表加入的分组不超过3个,并避免加入对数标准相同的分组。 前提条件 已完成准备工作。 已创建源端连接。 创建表组 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
集群的基本信息获取,对应参数为“ZK链接地址(内网)”。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。
对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
jdbc-xxx.csv ssl 否 如果遇到填写ca证书无法连接的情况,可以尝试填写pymysql 支持的ssl参数信息登录,参数说明参见表2,格式为"参数名1,参数值1,参数名2,参数值2"。 例如:"ca,/data/ca.pem,key,/data/client-key.pem
迁移准备度检查失败,失败原因:下发命令到Edge失败 问题描述 对Windows主机进行迁移准备度检查时,检查失败,提示:下发命令到Edge失败。 问题分析 可能导致该问题的原因如下: 配置参数中的接入IP填写错误。 源端主机处于关机状态。 源端主机的IP或端口异常。 您可以通过
db-xxx.csv。 ssl_ca_file 否 使用SSL连接,填写CA证书文件(.pem)路径。建议使用一组特定的CA证书,而不是由知名机构颁发签署的服务器证书。 ssl_client_private_key_password 否 如果证书密钥文件中包含的私钥已加密,则需要填写密码或口令短语。
迁移准备度检查失败,失败原因:用户名和密码错误 问题描述 对主机进行迁移准备度检查时,检查失败,提示:用户名和密码错误。 问题分析 出现该问题的原因可能是您所选凭证的用户名和密码与源端主机不匹配。 解决方法 核对凭证信息。 请仔细检查凭证中的用户名和密码是否输入正确,包括大小写和特殊字符。
迁移准备度检查失败,失败原因:主机IP或端口不可达 问题描述 对Linux主机进行迁移准备度检查时,检查失败,提示:主机IP或端口不可达。 问题分析 可能导致该问题的原因如下: 源端主机处于关机状态。 源端主机的IP或端口异常。 源端主机有防火墙、杀毒软件等安全拦截。 您可以通过
深度采集失败,失败原因:源端winrm服务没开启或IP无法连通或端口不通 问题描述 进行主机深度采集时,采集失败,提示:源端winrm服务没开启或IP无法连通或端口不通。 问题分析 可能导致该问题的原因如下: 源端主机的IP或端口异常。 如果源端为Windows主机,可能未开启WinRM服务。
执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 问题现象 执行脚本后报错,错误信息为“[ERROR] Failed to update hosts on xxx.xxx.x.xx: [xxx.xxx.x.xx] 连接到远程服务器 xxx.xxx.x.xx 失败有关详细信息,请参阅 abo
AK/SK验证失败,如何处理? 问题描述 安装Edge并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 处理方法 AK,SK输入错误