检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集项列表来了解哪些数据将被导出。 传输加密：数据在上传至MgC服务侧时，使用加密通道来保护数据在传输过程中的安全。 通道认证：只有经过验证的用户账号才能上传数据，增加了数据传输的安全性。 审计日志: 上传操作会被记录在后台日志中，这些日志可以用于审计和监控数据上传活动，确保所有操作都是可追踪和可验证的。
勾选需要迁移的桶，单击操作列的“修改”，调整桶的迁移方式，迁移方式说明参见表2。勾选并调整完成后，单击“确认”。 所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移，只
直接覆盖：后续同名（即使大小写不同）的对象将覆盖目的端文件系统中之前迁移的同名对象。最终，在目的端文件系统中只保留最后迁移的同名对象。 条件覆盖：对于后续迁移的同名（即使大小写不同）对象，根据以下条件决定是否覆盖。 如果最后修改时间较新，则覆盖前一个同名对象。 如果最后修改时间相同，比较文件大小；如果大小不同，则后一个对象覆盖前一个。
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表： 日志文件名 说明 debug.log 大数据插件运行时调试日志。 error.log 大数据插件运行时报错日志。 run.log 大数据插件运行时全部日志。
、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据，华为云OBS提供了以下四种存储类型： 标准存储 访问时延低和吞吐量高，因而适用于有大量热点文件（平均一个月多次）或小文件（小于1MB），且需要频繁访问数据的业务场景，例如：大数据、移动应用、热点视频、社交图片等场景。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移
大数据数据迁移（MaxCompute迁移到DLI） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版
自定义文件夹（可选） 指定日志文件和内容校验结果在日志桶内的存放文件夹，填写以“/”开头的文件夹路径。例如：桶名为“mgc01”，填写的文件夹为“/test”，则日志文件存放路径为：obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件；内容校
调用SDK：通过Azure提供的SDK，MgC调用AKS API，获取容器、虚拟机等资源信息。 接口返回：MgC接收API调用的返回值，这些返回值通常包含丰富的资源数据。 解析数据：MgC将返回的数据进行解析，提取关键信息，如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 准备工作
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目，方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统，用于迁移后的数据存储和管理，方法请参见创建弹性文件系统。 父主题： SFS1.0迁移至SFS
在MgC控制台创建迁移集群。 创建目的端弹性文件系统。 步骤一：创建全量迁移工作流 使用MgC存储迁移工作流完成源端数据的全量迁移。 步骤二：创建增量迁移工作流 在全量迁移完成后，再创建增量迁移工作流，进行多次增量数据迁移，以减少数据差异。 步骤三：灰度切流（可选） 在条件允许的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
