检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更多弹性资源池计费信息请参考弹性资源池计费。 怎样创建“弹性资源池队列”？ 购买弹性资源池。 在DLI管理控制台，单击“资源管理 > 弹性资源池 ”。 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 按需配置弹性资源池的相关参数，完成弹性资源池的购买。 在弹性资源池中创建队列。
标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标
Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。弹性资源池的单位为CU，1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列， 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DL
开启Flink作业动态扩缩容后，系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时，系统将自动减少作业所在节点的数量，确保作业高效运行，同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在F
新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Spark作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建批处理作业：创建并提交Spark批处理作业。 查询批处理作业状态：查看批处理作业状态。
新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 涉及接口 创建弹性资源池：创建弹性资源池。 创建队列：在弹性资源池中添加队列。 上传分组资源：上传Flink自定义作业所需的资源包。 查询组内资源包：确认上传的资源包是否正确。 创建Flink自定义作业：创建Flink自定义作业。
连接会失败。 其他参数根据需要选择和配置。 参数配置完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成队列创建。 步骤2：创建Kafka的Topic 在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。 单击“Topic管理
配额管理 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。
交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入到作业详情页面，选择“提交日志”页签，查看作业提交日志。 父主题： Flink
该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算，当前需要恢复的状态将算法的语句修改成为乘除取余的运算，是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。
OVERWRITE命令只有在分区表下不同的插入到不同静态分区才可以并行。 INSERT INTO命令和INSERT OVERWRITE命令同时执行，其结果是未知的。 在从源表插入数据到目标表的过程中，无法在源表中导入或更新数据。 对于Hive分区表的动态INSERT OVERWRITE，支持覆盖涉及到的分区数据，不支持覆盖整表数据。
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后，
TaskManager配置 用于设置TaskManager资源参数。 勾选后需配置下列参数： “单TM所占CU数”：每个TaskManager占用的资源数量。 “单TM Slot”：每个TaskManager包含的Slot数量。 不勾选该参数，，系统自动按照默认值为您配置。 “单TM所占CU数”：默认值为1。
根据权限使用全局服务的资源。 指定区域项目资源：授权后，IAM用户根据权限使用所选区域项目中的资源，未选择的区域项目中的资源，该IAM用户将无权访问。 指定企业项目资源：授权后，IAM用户根据权限使用所选企业项目中的资源。如企业项目A包含资源B，资源B部署在北京四和上海二，IAM
10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列： 仅支持关联按需计费模式的队列（包括专属队列）。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池扩缩容
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。 参数配置完成后，
可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费：选择需要开通自动续费的资源，单击操作列“更多 > 开通自动续费”。 批量资源开通自动续费：选择需要开通自动续费的资源，单击列表左上角的“更多 > 开通自动续费”。
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中，主要设置如下参数： fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下： import logging from operator
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 在Flink 作业中，可以使用CREATE语句来定义Source表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不同的连接参数，并确
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
