检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
Hudi（无元数据）连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入
在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面，单击“导出数据>实例”，导出所有实例资源清单。 单击“导出数据>云盘”，导出所有云盘资源清单。 打开实例资源
云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面，单击“导出数据>实例”，导出所有实例资源清单。 单击“导出数据>云盘”，导出所有云盘资源清单。 打开实例资源
填写连接到源端Doris数据库的连接端口。 数据库连接端口为Doris FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 数据库名 填写源端Doris数据库名称。 在元数据采集区域，单击“创建任务 > 元数据同步”
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"
创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地
数据源采集失败，如何重新采集？ 采集失败的数据源，处理完失败原因后，需要删除后通过新增数据源重新采集。 在任务列表页面，单击采集任务操作列的“查看”，进入任务详情页面。 单击采集项操作列的“新增数据源”，弹出新增数据源窗口。 选择区域和资源类型，单击“确认”按钮。新增数据源成功，系统开始对新增的数据源进行采集。
选择HBase的版本。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
填写连接源端ClickHouse集群的外网地址。可以在集群信息页面，查看外网地址。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
库表清单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
