检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
Flink SQL作业消费Kafka后sink到es集群，作业执行成功，但未写入数据 问题现象 客户创建Flink SQL作业，消费Kafka后sink到es集群，作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。
truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。 CSS安全集群参数配置 具体参数请参考表1，这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin") .option("es
通用队列上运行的Flink作业优先级默认为5。 作业优先级的调整需要停止作业进行编辑，并提交运行才能生效。 对于Flink作业，请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。
Flink Jar 包冲突，导致作业提交失败 问题描述 用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突，导致提交失败。 解决方案 首先您需要排除是否有冲突的Jar包。 含DLI Flink提供了一系列预装在DLI服务中的依赖包，用于支持各种数据处理和分析任务。
Administrator权限的账号，登录DLI控制台。 在“作业管理”>“Flink作业”页面找到对应的作业。 在对应作业的“操作”栏中选择“更多”>“权限管理”。 图1 Flink作业权限管理 在“授权”页面输入需要授权的用户名，勾选需要的权限。确认后，被授权用户就可以查看该作业，并且执行对应操作。 图2 授权 IAM授权管理
DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法 支持的数据类型范围
件，由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数 DLI控制台 在DLI作业中使用创建的UDAF函数。 操作步骤 新建Maven工程，配置pom文件。以下通过IntelliJ
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。
如果选择“按分组展示”，有以下三种展示方式：展开第一个分组、全部展开、全部收起。 创建SQL作业模板 创建模板的操作入口有两个，分别在“作业模板”和“SQL编辑器”页面。 在“作业模板”页面创建模板。 在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，单击右上角“创建模板”。
Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数。
删除作业 功能介绍 该API可用于删除任何状态的Flink作业。 删除作业接口只删除作业，不删除作业记录。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/streaming/jobs/{job_id}
Flink作业提交错误，如何定位 在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入
Flink作业运行异常，如何定位 在“Flink作业”管理页面，对应作业“操作”列单击“编辑”按钮，在作业运行界面确认作业是否勾选“保存作业日志”参数。 图1 保存作业日志 是，则执行3。 否，则运行日志不会转储OBS桶，需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作
在“Flink作业”页面右上角单击“新建作业”，弹出“新建作业”对话框。 图1 新建Flink Jar作业 配置作业信息。 表1 作业配置信息 参数 参数说明 类型 选择Flink Jar。 名称 作业名称，只能由英文、中文、数字、中划线和下划线组成，并且长度为1～57字节。 说明：
若要查询所有类型的作业，则传入ALL。 job-status 否 String 指定查询的作业状态。 job-id 否 String 指定查询的作业ID。可通过提交SQL作业（推荐）获取。 queue_name 否 String 指定queue_name作为作业过滤条件，查询在指定queue上运行的作业。
用户账户欠费，作业停止） job_arrearage_recovering：欠费作业恢复中（用户账户欠费，账户充值，作业恢复中） job_finish：已完成 status_desc 否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time
参数名称 是否必选 参数类型 说明 job_ids 是 Array of Long 作业ID。 trigger_savepoint 否 Boolean 在停止作业之前，用户可以选择是否对作业创建保存点，保存作业的状态信息。类型为boolean。 当triggerSavePoint为true时，表示创建保存点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
