检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能，禁用后Spark将不会自动修剪掉那些不满足条件的分区。
选择要开启动态扩缩容的作业，单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”，配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框，配置动态扩缩容参数。 表1 动态扩缩容参数说明 名称 默认值 描述 flink.dli.job.scale.enable false
) from pg_stat_activity WHERE state='idle'; 检查应用程序是否未主动释放连接，导致连接残留。建议优化代码，合理释放连接。 在GaussDB(DWS) 控制台设置会话闲置超时时长session_timeout，在闲置会话超过所设定的时间后服务端将主动关闭连接。
基础，介绍使用DLI进行电商BI报表分析的方法。 使用DLI分析账单消费数据 以DLI实际消费数据为样例，介绍使用DLI进行账单分析和成本优化的措施。 使用DLI分析电商实时业务数据 使用DLI Flink完成电商业务实时数据的分析处理。 配置DBeaver连接DLI进行数据查询和分析
单击操作列的“编辑”，进入作业编辑页面。 在参数配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在优化参数中配置委托信息，其中key为"flink.dli.job.agency.name"，value为委托名，否则可能会影响作业运行。了解自定义DLI委托
来减少多表关联的数据量，从而减轻队列的负荷，提升查询效率。 例如，问题现象中的问题语句可以根据业务场景，在join时通过指定on条件来进行优化，这样会极大减少关联查询的结果集，提升查询效率。 select case when to_char(from_unixtime(fs
从而实现最小化提交，避免依赖包与flink内核中依赖包冲突： 仅Flink 1.15版本支持Flink Jar作业最小化提交，通过在运行优化参数中配置flink.dli.job.jar.minimize-submission.enabled=true可以开启最小化提交。 Fli
adaptive.skewedPartitionMaxSplits表示倾斜拆分力度，可不加，默认为5，最大为10。 单击“执行”重新运行作业，查看优化效果。 父主题： SQL作业开发类
点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性能，禁用后Spark将不会自动修剪掉那些不满足条件的分区。 表4 tags参数 参数名称
参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Flink jar作业编辑界面，选择配置优化参数，配置信息如下: 不同的OBS桶，使用不同的AKSK认证信息。 可以使用如下配置方式，根据桶指定不同的AKSK信息，参数说明详见表1。
Top-N 需要 PARTITION BY 子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档：窗口Top-N。 语法格式 SELECT [column_list] FROM ( SELECT
当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。设置合理的消费参数避免File Not Found问题。 优化建议： 调大read.tasks。 如果有限流，调大限流参数。 调大上游compaction、archive、clean参数。 表1 参数名称
DLI核心引擎：Spark+Flink+HetuEngine Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。 Flink是一款
用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String 作业类型。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success
16239658","output_rate":2000}]} runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success
Objects Flink jar作业的标签。具体请参考表3。 runtime_config 否 String Flink作业运行时自定义优化参数。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明： 标签的键的最大长度为128个
=1核4G。 当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。 说明： 当开启TaskManager配置时，为了优化弹性资源池队列的管理，在您设置“单TM Slot”后，为您自动调整CU数量与实际CU数量一致。 CU数量=实际CU数量=max[管理单元和
自定义委托及配置请参考自定义DLI委托权限。 使用该功能，所有涉及OBS的桶，都需要进行配置AKSK。 语法格式 在Spark Jar作业编辑界面，选择配置优化参数，配置信息如下: 不同的OBS桶，使用不同的AKSK认证信息。 可以使用如下配置方式，根据桶指定不同的AKSK信息，参数说明详见表1。
order_time - INTERVAL '5' SECOND ) WITH ( . . . ); PRIMARY KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。
order_time - INTERVAL '5' SECOND ) WITH ( . . . ); PRIMARY KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
