检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出数据（废弃） 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾，即，若桶名包含“.”， 则最后一个“
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
创建集群（废弃） 功能介绍 该API用于创建集群，该集群将会绑定用户指定的计算资源。 当前接口已废弃，不推荐使用。 URI URI格式： POST /v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是
使用Livy提交Spark Jar作业 DLI Livy简介 DLI Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个li
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DL
队列相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static
查询所有弹性资源池 功能介绍 查询所有弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v3/{project_id}/elastic-resource-pools 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id
创建数据库（废弃） 功能介绍 该API用于新增数据库。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/databases 参数说明 表1 URI参数 参数名称 是否必选 参数类型
SHOW CREATE TABLE 语法 SHOW CREATE TABLE table_name 描述 显示指定数据表的SQL创建语句。 示例 显示能够创建orders表的SQL 语句： CREATE TABLE orders ( orderkey bigint, orderstatus
Map函数和运算符 下表操作符: [] 描述：[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
使用自定义镜像增强作业运行环境 自定义镜像应用场景 通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，以此改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。
配置Fine BI通过Kyuubi连接DLI进行数据查询和分析 Fine BI是一款智能可视化工具，专注于数据分析和可视化。它支持连接多种数据源，能够将复杂的数据转换为直观的图表和仪表板，快速获得数据洞察。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使
如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中，导出操作将在OBS服务新建文件夹，或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件，且文本格式仅支持UTF-8。 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。
配置SuperSet通过Kyuubi连接DLI进行数据查询和分析 Superset是一个开源的数据探索和可视化平台，支持对数据进行快速、直观的探索，同时支持创建丰富的数据可视化和交互式仪表板。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table hudi_sink_table ( //
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
