检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据相关API(废弃) 对已创建的上传作业进行鉴权(废弃) 父主题: 历史API
SQL作业相关API(废弃) 导入数据(废弃) 导出数据(废弃) 父主题: 历史API
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
弹性资源池添加的队列名称。 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 企业项目 选择对应的企业项目。 单击“下一步”,配置队列的扩缩容策略。 单击“新增”
分组资源相关API(废弃) 上传分组资源(废弃) 查询分组资源列表(废弃) 上传jar类型分组资源(废弃) 上传pyfile类型分组资源(废弃) 上传file类型分组资源(废弃) 查询组内资源包(废弃) 删除组内资源包(废弃) 修改组或资源包拥有者(废弃) 父主题: 历史API
队列相关API(推荐) 创建队列 删除队列 查询所有队列 查询队列详情 重启/扩容/缩容队列 创建指定地址连通性测试请求 查询指定地址连通性测试详情
SQL作业相关API(废弃) 提交SQL作业(废弃) 取消作业(废弃) 查询作业结果-方式一(废弃) 查询作业结果-方式二(废弃) 父主题: 历史API
BI是一款智能可视化工具,专注于数据分析和可视化。它支持连接多种数据源,能够将复杂的数据转换为直观的图表和仪表板,快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Fine BI与Kyuubi对接,用户可以利用Ky
Hudi锁配置说明 一节。 Hudi和队列计算引擎的版本对应关系为: 计算引擎 版本 Hudi版本 Spark 3.3.1 0.11.0 Flink 1.15 0.11.0 Hetu 2.1.0 0.11.0 如何判断队列支持的计算引擎版本:首先进入DLI的控制台界面,点击左侧菜单栏的”资源管理”->
数据库相关API(废弃) 创建数据库(废弃) 删除数据库(废弃) 查询所有数据库(废弃) 修改数据库用户(废弃) 父主题: 资源相关API(废弃)
Spark datasource API语法参考 Spark jar作业提交方式请参考在DLI使用Hudi提交Spark Jar作业 API语法说明 Hudi锁配置说明
数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库,赋权以数据库为单位。 在DLI中,表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所在的位置,并指定了数据的结构,例如列名称、数据类型和表名称。数据库是表的逻辑分组。 OBS表、DLI表、CloudTable表
弹性资源池相关API 创建弹性资源池 查询所有弹性资源池 删除弹性资源池 修改弹性资源池信息 查询弹性资源池下所有队列 关联队列到弹性资源池 弹性资源池扩缩容历史记录 修改弹性资源池关联队列的扩缩容策略
跨源认证相关API(废弃) 创建跨源认证(废弃) 获取跨源认证列表(废弃) 更新跨源认证(废弃) 删除跨源认证(废弃) 父主题: 历史API
Spark批处理相关API(废弃) 查询批处理作业日志(废弃) 父主题: 历史API
Flink作业管理相关API 触发Flink作业保存点 导入Flink作业保存点
owner 否 String 队列所有者。 create_time 否 Long 队列创建时间。 engine 否 String 队列引擎类型。 表5 queue_scaling_policies 参数 是否必填 参数类型 描述 priority 否 Integer 策略优先级1-100,100优先级最高。
对接永洪BI:与永洪BI对接实现数据分析。具体内容请参考《数据湖探索开发指南》。 DLI核心引擎:Spark+Flink+HetuEngine Spark是用于大规模数据处理的统一分析引擎,聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造,不仅兼容Apache
i_data_clean_agency。 引擎版本低于Flink1.15,执行作业时默认使用dli_admin_agency;引擎版本低于Spark 3.3.1,执行作业时使用用户认证信息(AKSK、SecurityToken)。 即引擎版本低于Flink1.15和Spark 3
实时入湖一般的性能要求都在分钟内或者分钟级,结合Hudi两种表模型的对比,因此在实时入湖场景中需要选择MOR表模型。 Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时,为了规避引擎之间大小写的支持不同,统一采用小写字母。 建议 Spark批处理场景,对写入时延要求不高的场景,采用COW表。 COW表