检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 问题现象 SQL作业中存在join操作，作业提交后状态一直是运行中，没有结果返回。 问题根因 Spark SQL作业存在join小表操作时，会触发自动广播所有executor，使得join快速完成。但同时该操作会增加executor的内存消耗，如
作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断，分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码，确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码，是否有内存泄漏。 增加单TM所占的资源。 联系技术支持，修改集群心跳配置参数。
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
如何给子用户授权查看Flink作业？ 子用户使用DLI时，可以查看队列，但是不能查看Flink作业，可以通过在DLI中对子用户授权，或在IAM中对子用户授权： DLI授权管理 使用租户账号，或者作业owner账号，或有DLI Service Administrator权限的账号，登录DLI控制台。
Flink作业重启后，如何判断是否可以从checkpoint恢复 什么是从checkpoint恢复？ Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，遇到异常或者机器问题时能够进行自我恢复。 从checkpoint恢复的原则 通常当作业执行失败
类型和描述。 查看元数据步骤 查看元数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面查看元数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”，选择
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台，单击左侧“作业管理”>“Spark作业”，在作业列表中找到需要查看的Spark作业，单击“作业ID”前的，即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时，
查看指定表所有分区 功能描述 查看指定表的所有分区。 语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS：表中的分区。 PARTITION：分区。
运行spark作业依赖的jar包。 表4 计算资源规格参数说明 参数名称 参数描述 资源规格 下拉选择所需的资源规格。系统提供3种资源规格供您选择。 资源规格包含以下参数： Executor内存 Executor CPU核数 Executor个数 driver CPU核数 driver内存 最终配置结果以修改后数据为准。
[0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号（''）包围起来。 注意事项 若所查看的表不存在，将会出错。 示例 查看student表的所有列的列名与列数据类型。 1 DESCRIBE student; 父主题： 查看表
URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 被查询的表所在的数据库名称。 table_name 是 String 被查询的表名称。 user_name
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存）。弹性资源池的单位为CU，1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列， 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略，提高计算资源利用率。 DLI提供以下规格的计算资源，如表1所示。
查看队列定时扩缩容计划（废弃） 功能介绍 该API用于查看队列定时扩缩容计划，列出指定队列定时规格变更计划。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1/{project_id}/queues/{queue_name}/plans
单击作业链接 查看对应作业的DAG图，判断是否有BroadcastNestedLoopJoin节点。 图8 作业的DAG图。 如果存在广播，则参考SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中处理。 可能原因2：数据倾斜 判断当前作业运行慢是否是数据倾斜导致：
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thrift协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thirft协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max()
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQ
读取数据，数据量较大的场景防止内存OOM建议关闭。 否 false 配置为false代表关闭预加载。 kyuubi.engine.jdbc.memory jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
