检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark 3.1.1版本说明 数据湖探索（DLI）遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
标准保持一致。 Flink 1.15版本新增读写Hive、Hudi等Connector。 Flink 1.15版本数据同步迁移场景，优先推荐使用DataArts的数据集成。 Flink 1.15版本支持集成DEW-CSMS凭证管理，提供隐私保护方案。 Flink 1.15版本支持Flink
配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant
管理Spark作业模板 操作场景 在创建Spark作业时，您可以在已有的Spark样例模板中进行修改，来实现实际的作业逻辑需求，节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板，但支持用户自定义Spark作业模板，本节操作介绍在Spark管理页面创建Spark模板的操作方法。
配置SQL防御规则 什么是SQL防御 大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。
需计费。存储套餐的额度每个小时会重置。 数据扫描量 按需计费 扫描量计费=单价*扫描量数据（GB） 扫描数据量套餐包 购买了扫描数据量套餐包，按需使用过程中优先抵扣扫描数据量套餐包的规格额度，超过扫描数据量套餐包额度的按照按需计费。扫描数据量套餐的额度会按订购周期重置。 创建队列的操作指导请参考：创建队列
cbrt cbrt函数用返回a的立方根。 命令格式 cbrt(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非DOUB
cot1 cot1函数用于计算a的余切值，输入为弧度。 命令格式 cot1(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参
命令格式 covar_pop(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（i
covar_samp(col1, col2) 参数说明 表1 参数说明 参数 是否必选 说明 col1 是 数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（i
table的方式新加了一个分区，但是此分区中并无任何数据，则此分区不会做为返回值。 示例代码 例如 table1 是分区表，该表对应的分区为20120801和20120802，且都有数据。则以下语句中max_pt返回值为‘20120802’。DLI SQL语句会读出pt=‘20120802’分区下的数据。 命令示例如下。
months_between months_between函数用于返回date1与date2之间的月份差。 命令格式 months_between(string date1, string date2) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date1 是 DATE
negative negative函数用于返回a的相反数。 命令格式 negative(INT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
quarter quarter函数用于返回该date所在的季度，范围为1~4。 命令格式 quarter(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为： yyyy-mm-dd
orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回INT类型的值。 a为NULL，则返回NULL。 示例代码 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表logs，并添加数据，命令示例如下： CREATE TABLE
to_utc_timestamp to_utc_timestamp函数用于将timezone所对应的时间戳转换为UTC的时间戳。 命令格式 to_utc_timestamp(string timestamp, string timezone) 参数说明 表1 参数说明 参数 是否必选
00:00:00）。 select unix_timestamp("2023-08-16 10:56:45", "yyyy-MM-dd"); 表数据示例 select timestamp1, unix_timestamp(timestamp1) as date1_unix_timestamp
url_encode url_endcode函数用于将字符串编码为application/x-www-form-urlencoded MIME格式。 命令格式 url_encode(string <input>[, string <encoding>]) 参数说明 表1 参数说明
创建集群（废弃） 功能介绍 该API用于创建集群，该集群将会绑定用户指定的计算资源。 当前接口已废弃，不推荐使用。 URI URI格式： POST /v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是
查询作业执行计划 功能介绍 该API用于查询作业执行计划。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
