检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Map函数和运算符 下表操作符: [] 描述：[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map)
SQL函数和操作符 逻辑运算符 比较函数和运算符 条件表达式 Lambda 表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符
如何在DLI中运行复杂PySpark程序？ 数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Python
通用队列操作OBS表如何设置AK/SK （推荐）方案1：使用临时AK/SK 建议使用临时AK/SK，获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 表
DLI Flink与MRS Flink有什么区别？ DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化，并且提供了企业级的一站式开发平台，自带开发和运维功能，免除自建集群运维的麻烦；在connector方面除了支持开源connector
了解数据目录、数据库和表 数据库和表是SQL作业、Spark作业场景开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 数据目录 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标
创建Flink Jar作业 Flink Jar作业是基于Flink能力进行二次开发的场景，即构建自定义应用Jar包并提交到DLI的队列运行。 Flink Jar作业场景需要用户自行编写并构建应用Jar包，适用于对流计算处理复杂度要求较高的用户场景，且用户可以熟练掌握Flink二次开发能力
认证鉴权 调用API有如下两种认证方式，您可以任选其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AK/SK认证：通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证，其安全性比Token认证更高
pow pow函数用于计算返回a的p次幂。 命令格式 pow(DOUBLE a, DOUBLE p), power(DOUBLE a, DOUBLE p) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode
FROM 功能描述 在FROM子句中嵌套子查询，子查询的结果作为中间过渡表，进而作为外部SELECT语句的数据源。 语法格式 1 SELECT [ALL | DISTINCT] attr_expr_list FROM (sub_query) [alias]; 关键字 ALL：返回重复的行
Python开发环境配置 操作场景 在安装和使用Python SDK前，确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。
按表达式GROUP BY 功能描述 按表达式对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY groupby_expression [, groupby_expression, ...]
Flink 1.12版本说明 数据湖探索（DLI）遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
Hudi存储结构 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境，Hudi表的数据文件存储在OBS上，因此可以通过查看OBS文件检查。 如下，展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
Hudi Compaction操作说明 什么是Compaction Compaction用于合并mor表Base和Log文件，Compaction包含两个过程Schedule和Run。Schedule过程会在TimeLine里生成一个Compaction Plan，这个Compaction
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
