检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据
创建一个新的项目，里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”，进入配置管理页面。选择“项目管理”页签，单击“创建项目”。 在弹出的窗口中，自定义项目名称，仔细查看并了解项目类型的适用场景后，选择项目类型，单击
Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令，启动MgC Agent。 ./start.sh 当出现如下图所示提示时，表示MgC Agent已经启动。 执行如下命令，查看MgC Agent进程。 ps -ef |grep edge
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板，批量创建对象存储数据迁移任务，实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？ 源端为阿里云OSS：当源端对象的存储类型是深度冷归档存储时，无法使用MgC提供的解冻归档数据功能直接迁移，需要在源端先手动解冻后再迁移。
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板，批量创建对象存储数据迁移任务，实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？ 源端为阿里云OSS：当源端对象的存储类型是深度冷归档存储时，无法使用MgC提供的解冻归档数据功能直接迁移，需要在源端先手动解冻后再迁移。
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板，批量创建文件存储数据迁移任务，实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？ 风险提示 在创建工作流时，对于源端和目的端的同名对象，我们提供了三种覆盖策略：
badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据
主机评估失败，没有匹配合适的规格，如何处理？ 问题分析 出现该问题，可能的原因有： 目的端区域没有与源端匹配的规格。 创建评估时，配置了自定义评估策略，没有匹配到符合策略的主机规格。 解决方法 在迁移方案设计页面的应用列表，单击操作列的“查看资源配置”，进入目的端配置表页面。 在
略推荐的华为云对应规格配置，成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板，批量创建文件存储数据迁移任务，实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些？ 风险提示 在创建工作流时，对于源端和目的端的同名对象，我们提供了三种覆盖策略：
器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流：进行主机迁移，MgC提供高灵活、可定制的迁移工作流，根据采集的源端主机性能数据，推荐最合适的华为云主机规格。 创建大数据迁移任务：进行大数据迁移，支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索（DLI）。
略推荐的华为云对应规格配置，成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主机资
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
Metastore凭证文件获取方法。 大数据-数据湖搜索（DLI） AK/SK 输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 大数据-MaxCompute AK/SK 输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。 大数据-Doris 用户名/密码
OT_SAME”，如何处理？ 问题现象 迁移到目的端时，迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景： 场景一： 由于元数据中的mtime属性引起的校验失败。在对象存储数据迁移过程中，如果启
使用vi命令来查看具体的日志文件。 vi xxx.log xxx.log需要替换为具体的日志文件名。不同类型的日志文件名和说明参加下表： 日志文件名 说明 debug.log 大数据插件运行时调试日志。 error.log 大数据插件运行时报错日志。 run.log 大数据插件运行时全部日志。
x版本间数据校验时，由于Hive 2.x版本在查询固定长度字符串类型char(N)数据时，如果实际数据长度不满足N长度，Hive会以空格补齐至N长度。而Hive 3.x版本在查询时不会进行这种补齐操作。这可能导致在不同版本间比较结果时出现差异。为了避免因版本差异导致的数据不一致问
oss:DescribeMetricData List 数据库 RDS rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute Read MongoDB rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
