-
作业模板 - 数据湖探索 DLI
作业模板 SQL模板管理 Flink模板管理 Spark模板管理 附录
-
模板相关API(废弃) - 数据湖探索 DLI
模板相关API(废弃) 查询所有SQL样例模板(废弃) 父主题: 历史API
-
DLI SDK功能矩阵 - 数据湖探索 DLI
删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java
-
附录 - 数据湖探索 DLI
附录 SQL模板下TPC-H样例数据说明 父主题: 作业模板
-
关联队列到弹性资源池 - 数据湖探索 DLI
message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 关联队列lhm_sql到该弹性资源池。 { "queue_name" : "lhm_sql" } 响应示例 { "is_success" : true, "message" : "" }
-
Python SDK - 数据湖探索 DLI
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
-
Flink作业相关问题 - 数据湖探索 DLI
Flink作业相关问题 使用咨询 Flink SQL作业相关问题 Flink Jar作业相关问题 性能调优 运维指导
-
API快速入门 - 数据湖探索 DLI
API快速入门 创建队列 创建并提交SQL作业 创建并提交Spark作业 创建并提交Flink作业 创建并使用跨源链接
-
Flink作业委托场景开发指导 - 数据湖探索 DLI
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 用户获取Flink作业委托临时凭证
-
Java SDK - 数据湖探索 DLI
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
-
运维指导 - 数据湖探索 DLI
运维指导 欠费导致权限不足 进行程序包更新操作时提示权限不足 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是再次报错无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什
-
弹性资源池概述 - 数据湖探索 DLI
支持分时设置队列优先级和配额,提高资源利用率。 作业级资源隔离(暂未实现,后续版本支持) 支持独立Spark实例运行SQL作业,减少作业间相互影响。 自动弹性(暂未实现,后续版本支持) 基于队列负载和优先级实时自动更新队列配额。 弹性资源池解决方案主要解决了以下问题和挑战。 维度 原有队列,无弹性资源池时
-
数据分析 - 数据湖探索 DLI
使用DLI将CSV数据转换为Parquet数据 使用DLI进行电商BI报表分析 使用DLI进行账单分析与优化 使用DLI Flink SQL进行电商实时业务数据分析 永洪BI对接DLI提交Spark作业 FineBI工具对接DLI Trino PowerBI工具对接DLI Trino
-
身份认证与访问控制 - 数据湖探索 DLI
足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:不允许某用户组删除集群,仅允许DLI基本操作(如创建、查询作业等)。
-
规格变更 - 数据湖探索 DLI
“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALE_QUEUE”类型SQL作业的状态,如果作业状态为“规格变更中”,表示队列正在扩容中。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。
-
运维指导 - 数据湖探索 DLI
create failed. The plan xxx target cu is out of quota报错 在default队列执行DLI SQL失败,上报超时异常 怎样查看弹性资源池和作业的资源使用情况? 父主题: 队列相关问题
-
永洪BI添加数据源 - 数据湖探索 DLI
由于是对接DLI,所以servicename=dli。 dli.sql.checkNoResultQuery 否 false 是否允许调用executeQuery接口执行没有返回结果的语句(如DDL)。 “false”表示允许调用。 “true”表示不允许调用。 说明: 当dli.sql.checkNoResult
-
用户获取Spark作业委托临时凭证 - 数据湖探索 DLI
委托的AK、SK、SecurityToken。 Spark Jar作业获取作业委托凭证 import org.apache.spark.sql.SparkSession; import org.slf4j.Logger; import org.slf4j.LoggerFactory;
-
查询弹性资源池下所有队列 - 数据湖探索 DLI
"queues": [ { "queue_name": "lhm_sql", "enterprise_project_id": "0", "queue_type": "sql", "queue_scaling_policies": [
-
怎样查看弹性资源池和作业的资源使用情况? - 数据湖探索 DLI
作业资源的占用情况请参考怎样查看作业所需的资源CUs数?。 怎样查看作业所需的资源CUs数? SQL作业: 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数,并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业: 登录DLI管理管理控制台。 选择“作业管理