检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操作会增加executor的内存消耗，如
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。弹性资源池的单位为CU，1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列， 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DL
driver内存÷4）， driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。 请分别使用内存和CPU核数计算所需
约束与限制 您能创建的资源的数量与配额有关系，如果您想查看服务配额、扩大配额，具体请参见《如何申请扩大配额》。 更详细的限制请参见具体API的说明。 父主题： API使用前必读
行。 弹性资源池的规格（“规格”即“包周期CU”）等于创建时的最小CU，是首次创建时分配的资源数。即弹性资源池首次创建时，实际CUs=规格=最小CU。 描述 创建的弹性资源池的描述信息。 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源，弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。
flink_jobmanager_Status_JVM_CPU_Load JobManager CPU的负载 flink_jobmanager_Status_JVM_CPU_Time JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager
约束与限制 弹性资源池约束限制 更多弹性资源池约束限制请参考弹性资源池使用约束限制。 表1 弹性资源池约束限制 限制项 说明 资源规格 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU： 通用队列：4CUs SQL队列：Spark SQL队列：8CUs；HetuEngine
运行spark作业依赖的jar包。 表4 计算资源规格参数说明 参数名称 参数描述 资源规格 下拉选择所需的资源规格。系统提供3种资源规格供您选择。 资源规格包含以下参数： Executor内存 Executor CPU核数 Executor个数 driver CPU核数 driver内存 最终配置结果以修改后数据为准。
Flink作业 10秒钟 flink_cpu_usage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flink_mem_usage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业
提交Spark jar作业时，CPU与内存比例为1:4~1:8。 Compaction作业是将存量的parquet文件内的数据与新增的log中的数据进行合并，需要消耗较高的内存资源，按照之前的表设计规范以及实际流量的波动结合考虑，建议Compaction作业CPU与内存的比例按照1:4~1:8
Jobmanager与Taskmanager心跳超时，导致Flink作业异常怎么办？ 问题现象 Jobmanager与Taskmanager心跳超时，导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。
力，帮助用户监控账号下的DLI队列，执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。
driverMemory executorMemory numExecutor A 8核32G内存 2 1 7G 4G 6 B 16核64G内存 2 2 7G 8G 7 C 32核128G内存 4 2 15G 8G 14 表4 resources参数说明 参数名称 是否必选 参数类型
创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持 弹性资源池和队列 使用DLI提交作业前，您需要为提交作业准备所需的计算资源。 · 弹性资源池和队列：弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），灵活应对业务对计算资源变化的需求。同一弹
对象存储服务OBS上，高频访问的热数据存放在数据引擎（CloudTable和DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用 DIS、CDM、OBS、DWS、RDS、CloudTable 图2 车企数字化服务转型
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置
NetworkException: The server disconnected before a response was received. 问题原因 由于CPU使用率过高，导致网络闪断。 解决方案 在SQL语句中配置发送失败重试：connector.properties.retries=5 create
应该至少半小时调度一次。 Compaction作业配置的资源，vcore数至少要大于等于单个分区的桶数，vcore数与内存的比例应为1：4即1个vcore配4G内存。 父主题： Bucket调优示例
以自适应业务的流量，智能对资源进行弹性伸缩，保障业务稳定性，不需要人工进行额外调试。 DLI Flink与MRS Flink的功能对比如表1所示。 表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群）
管理单元）/单TM所占CU数。 如果没在优化参数配置单个TM的内存和管理单元内存，默认单个TM的内存 = 单TM所占CU数 * 4。管理单元内存 = 管理单元 * 4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。 管理单元 管理单元CU数量。 并行数 作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
