数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,在工作流列表单击操作列“运行”按钮,开始迁移。
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。 在工作流详情页面
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。 在工作流详情页面
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在标准工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,在工作流列表单击操作列“运行”按钮,开始迁移。
工作流配额限制说明 为确保资源的合理分配和系统的稳定运行,在创建工作流时,设定了以下配额限制。请在创建工作流前了解这些限制,以避免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。 运行中工作流资源总量限制:同一用户同时进行迁移的资源
工作流配额限制说明 为确保资源的合理分配和系统的稳定运行,在创建工作流时,设定了以下配额限制。请在创建工作流前了解这些限制,以避免因超出配额而导致创建失败。 日创建上限:在同一项目下,每天允许创建的迁移工作流数量上限为50个。 运行中工作流资源总量限制:同一用户同时进行迁移的主机
工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。 父主题: SFS1.0迁移至SFS 3.0
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在标准工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。
主机迁移工作流支持“按应用”和“按迁移方案”两种资源范围进行迁移。 选择“按应用”迁移时,需要将待迁移的主机资源关联应用,并对应用内的主机进行目的端规格评估。 选择“按迁移方案”迁移时,需要完成主机迁移方案配置。 创建主机迁移工作流 完成以上步骤后,参考操作步骤创建主机迁移工作流。 操作步骤
根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 选择资源范围 按应用:迁移应用内的主机。 按迁移方案:对迁移方案中配置的主机进行迁移。 应用程序 应用名称 资源范围选择“按应用”时,选择待迁移主机所关联的应用。 迁移方案
步需要用户手动操作。单击右下角的“开始配置”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 选择资源范围 选择“按应用”。 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移网络配置
“手动”,表示该步需要用户手动操作。单击“开始配置”按钮,进行工作流配置。 根据表1参数说明,配置工作流参数。 表1 可用区工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移设置 区域 选择
最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,则不进行流量控制 勾选,进行流量控制。在“开始时间”、“结束时间”和“限速”文本框中输入数值。
确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。 如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。 在工作流详情页面
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建存储迁移工作流 创建对象存储批量迁移工作流 创建文件存储批量迁移工作流 添加阶段/步骤 父主题: 新版
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建对象存储迁移工作流 创建对象存储批量迁移工作流 创建文件存储批量迁移工作流 添加阶段/步骤 父主题: 旧版
图2 高级设置 步骤三:创建存储迁移工作流 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“实施 > 迁移工作流”,进入迁移工作流页面。 单击页面右上角的“创建迁移工作流”按钮,进入创建迁移工作流页面。 选择存储迁移标准模板,单击“开
工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,单击“确认”按钮,立即运行工作流。 在工作流列表,单击工作流名称,进入工作流详情页面,可以查看该迁移工作流的配置信息和资源迁移进度。 父主题: 存储迁移相关最佳实践
您即将访问非华为云网站,请注意账号财产安全