检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Flink1.15版本
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
设置Flink作业优先级 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Flink作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。
查询队列详情 功能介绍 该API用于列出该project下指定的队列详情。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/queues/{queue_name} 参数说明 表1 URI参数 参数名称 是否必选
典型场景示例：配置DLI 与公网网络连通 操作场景 公网数据源指的是可以通过互联网访问的数据源。这些数据源资源有一个公网IP地址，配置DLI与公网网络联通可以实现对这些数据源的访问。 本节提供了详细的操作指导，介绍如何通过设置SNAT规则和配置路由信息，实现DLI服务与公网的网络连接。
普通队列弹性扩缩容 前提条件 新创建的按需计费队列需要运行作业后才可进行弹性扩缩容。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 约束与限制 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 目前只支持计费模式为“按需/CU时”和“按需/专属资源模式”的队列进行弹性扩缩容。
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_a
欠费说明 用户在使用DLI服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产
Spark2.4.x与Spark3.3.x版本在通用队列的差异对比 DLI整理了Spark2.4.x与Spark3.3.x版本在通用队列的差异，便于您了解Spark版本升级后通用队列上运行的作业在适配新版本引擎时的影响。 log4j依赖从1.x版本修改为2.x版本 说明： log4j依赖从1
典型场景示例：配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门，多个部门不同业务数据分析的时间段可能有所差异，具体场景如下： A部门：在00:00-09:00时间段内资源请求量大，其他时间段有短时间的资源请求量不大的任务运行。 B部门：在10:00-22:00时间段内资
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。
弹性资源池计费 弹性资源池计费模式 弹性资源池为DLI作业运行提供计算资源。弹性资源池支持三种计费模式： 包年包月：是预付费模式，按订单的购买周期计费。拥有专属的计算资源，空闲（无作业运行）时不会释放，使用体验更佳，价格比按需计费模式更优惠。 适用于可预估资源使用周期的场景，例如
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
