检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操作会增加executor的内存消耗，如
源无法按照最小缩容步长执行缩容任务，则弹性资源池可能缩容不成功，或缩容一部分规格的情况。 因资源规格不同可能有不同的缩容步长，通常是16CUs、32CUs、48CUs、64CUs等。 示例：弹性资源池规格为192CUs，资源池中的队列执行作业占用了68CUs，计划缩容至64CUs。
运行spark作业依赖的jar包。 表4 计算资源规格参数说明 参数名称 参数描述 资源规格 下拉选择所需的资源规格。系统提供3种资源规格供您选择。 资源规格包含以下参数： Executor内存 Executor CPU核数 Executor个数 driver CPU核数 driver内存 最终配置结果以修改后数据为准。
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
集群名称。 status 是 String 具体集群状态信息可参见表3。 resource_mode 是 Integer 集群类型。 0：共享集群 1：专属集群 表3 集群状态说明 名称 说明 CREATING 集群正在创建中，当前不可用。 AVAILABLE 集群可用。 SUSPENDED
ey-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增
ey-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增
ey-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。弹性资源池的单位为CU，1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列， 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DL
progress 否 Double 正在运行的子作业的进度或者整个作业进度，该值只能粗略的估算子作业进度，不表示作业的详细进度。 如果整个作业刚开始运行或者在提交中，则进度展示为0；如果作业运行结束，则进度展示为1。此时progress表示整个作业的运行进度，因为没有子作业在运行，sub_job_id不展示。
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。 父主题： Flink作业性能调优类
本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM任务槽的内存中。 建议为streaming-source.monitor-interval（最新分区作为临时表）或 lookup.join.cache
告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用 DIS、CDM、OBS、DWS、RDS、CloudTable 图2 车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性
join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为false即禁用动态分区修剪优化，有助于减少内存使用，避免内存溢出和频繁的Full GC。 但禁用此优化可能会降低查询性
新版本的Parquet文件，那旧版本的文件就不能被Clean清理，增加存储压力。 提交Spark jar作业时，CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内存资源，按照之前的表设计
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
