检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
链接。 根据MgC的要求，编辑URL列表文件内容，使其包含文件的共享下载链接和文件名，格式为： <SHARED-URL> <FILE-NAME> 共享下载链接和文件名之间用制表符隔开，子文件夹的文件名需要包含子文件夹名称。关于URL列表文件的更多要求和限制，请查看存储迁移的约束与限制有哪些？。
迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移，只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型，并且元数据Cont
14:50（现在）的增量元数据。 MaxCompute参数（可选） 非必填参数，一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。
访问凭证。 数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件（每行只能写一个URL和对象名称），列表文件需要提前创建。 列表文件约束与限制： 列表文件类型必须为.t
14:50（现在）的增量元数据。 须知： 增量区间任务仅会识别并同步在指定时间范围内发生变化的元数据。仅源端存在和仅目的端存在的元数据，都不会被同步或处理。 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集，需要通过导入数据的方式获取元数据信息。
备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。 源端组件选择“MaxCompute”，目的端组件选择“数据湖探索 DLI”，任务类型选择“全量数据迁移”，单击“下一步”，进入详细配置页面。
非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
14:50（现在）的增量数据。 如果勾选“指定日期”，将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间：筛选出最近或在特定时间段内有更新的数据。 创建时间：筛选出在特定时间窗口内创建的数据。 按库筛选 即按数据库进行筛选，在数据库参数框
迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。 测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建数据湖元数据同步任务按钮，右侧弹出创建任务-数据湖元数据同步窗口。 图4 创建数据湖元数据同步任务 根据表2，配置数据湖元数据同步任务参数后，单击“确认”按钮，创建数据湖元数据同步任务。
迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移，只迁移列表文件中的对象。 在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下： 目的端为OBS 对象列表文件大小不能超过30 MB。 对象列表文件类型必须为.txt类型，并且元数据Cont
根据实际需求，选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。
ompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。
Windows主机迁移后数据盘缺失，如何解决？ 问题描述 Windows主机迁移完成后，登录目的端主机发现磁盘数量与源端主机不一致，有数据盘缺失，但在目的端控制台查看磁盘数量正常。 问题分析 出现该问题，可能是因为源端主机的磁盘策略为共享磁盘脱机或者离线模式，迁移后会导致数据盘处于脱机状态。
数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息（可选） 用户自定义。
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。 表7 Delta Lake（无元数据）连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。
MySQL节点IP：输入MySQL数据库服务器的IP地址。 MySQL服务端口：输入MySQL数据库服务的端口号。 数据库名：输入存储Hive表元数据的数据库名称。 说明： 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配，否则会导致数据校验失败。 表3
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
