检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到
为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表，将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接，方法请参考创建执行机连接。
创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮，右侧弹出新增连接窗口。 连接类型选择“数据湖探索 （DLI
务执行结果进行过滤，如有过滤，则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮，右侧弹出导出管理窗口。 当导出进度为导出成功后，单击操作列的“下载”，可以将导出结果下载到本地。 图2 下载导出结果 父主题： 大数据数据迁移
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验
QPS)等关键性能指标在内的详细信息。不同的数据库类型，采集的信息详情可能有所差异。 在源端内网环境中或在可以访问到源端数据库的网络环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表，单击数据库资源的资源数量，进入资源列表页面的数据库页签。 在数据库资源列表中，通过平台类型过滤出采集到的所
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板，并填写相应数据。 父主题： 血缘采集
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"
选择要发现的源端云平台区域，支持多选。 是 开启云平台采集，在资源类型下拉列表，勾选需要进行采集的资源类型（采集项）。当前支持采集的云平台和资源类型参见表2。 图2 选择资源类型 表2 支持采集的资源类型 云平台 资源类型 子类型 阿里云 主机 容器 大数据 数据库 - 中间件 Redis
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
