检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。
表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求，选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。
表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求，选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。
迁移中心 MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图，如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版
配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。
配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。
HBase数据校验 DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 DeltaLake（无元数据）迁移至MRS DeltaLake数据校验
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。
大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？
数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.
数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。
大数据数据迁移（MaxCompute迁移到DLI） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
