检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员，调整流控上限。
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 图3 任务实例管理 元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
r账号和密码作为采集凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”，进入资源采集页面。 在主机资源列表，单击列表上方的“添加资源”按钮，弹出添加主机窗口。 图1 添加主机 根据表1，填写相应参
在上云分析任务列表，单击任务名称。 单击操作列的“下载账单”按钮，下载Excel版账单。 查看配置 系统会根据解析出来的产品规格及用量自动匹配华为云上的产品及用量，在匹配策略上系统坚持在不低于您当前配置的前提下优先考虑成本的原则，给出华为云上的产品规格及用量配置。 您可以通过查看配置进
创建集群将产生相关服务费用，具体费用请参见计费说明。 创建的集群节点暂不支持直接登录，如有需要请联系技术支持人员。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”，进入迁移集群页面。 单击页面右上角的“创建集群”按钮，进入创建集群页面。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DLI中自动创建相应的库。如果是整库迁移，通常只会创建一个库；而表迁移可能需要创建多个库。通常，DLI的库数量上限为10。如果DLI空间不足，可能会导致元数据
table"，需要您手动删除DLI中的分区数据，然后再进行迁移。 在进行指定分区数据迁移的场景下，由于MaxCompute在创建表时会自动将表名转换为小写，因此在迁移过程中，请确保Excel文件中的库表名称与MaxCompute中的实际表名一致（全部小写）。如果Excel文件中填写的库表名称为大写，
中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”，进入资源采集页面。 在资源列表选择资源类型，进入对应的资源列表页面。 勾选需要关联到同一应用的资源，单击页面左上角的“关联到应用”，弹出关联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用，单击“新建
步骤五：创建主机迁移工作流 当完成所有准备工作和步骤一~步骤四的操作后，即可前往迁移工作流界面，创建主机迁移工作流。 父主题： 阿里云主机迁移至华为云
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存，参数配置例如：2G
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“./install.sh” 所填写的地址。 SQL文件地址
选择在源端环境中安装的MgC Agent（原Edge）。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存，参数配置例如：2G
为采集凭证，本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ，即可看到“存储账户名称”和“密钥”。 在“key1”下单击密钥后的“显示”按钮，即可显示访问密钥，并出现复制按钮。 分别复制
输入目的端接收文件的路径，格式为：/文件夹。 当输入的是/时，表示迁移到目的端的根目录。 根据表4，进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移，只迁移列表文件中的对象。 在“列表
为什么不能手动选择主机规格和磁盘类型？ 主机未评估时，无法手动选择规格和磁盘类型，进行一次评估后，即可手动选择想要的主机规格和磁盘类型。 父主题： 规格评估
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
用于部分主机需要重新部署的场景。通过购买列表成功购买的主机，将自动绑定为迁移目的端，可以使用主机工作流继续迁移。 前提条件 已对源端资源完成规格评估。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”，进入迁移方案设计页面。
立连接的MgC Agent（原Edge）。 前提条件 已在源端安装迁移中心Agent，并与迁移中心连接成功。 查看MgC Agent列表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。 单击左侧导航栏的“迁移中心Agent”，即可查看当前项目下的所有MgC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
