检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
from_unixtime from_unixtime函数用于计算将数字型的UNIX值代表的时间戳转换为日期值。 命令格式 from_unixtime(bigint unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT
isdate isdate函数用于判断一个日期字符串能否根据指定的格式转换为一个日期值。 命令格式 isdate(string date , string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要判断的字符串。
log log函数根据给定底数及指数返回自然对数。 命令格式 log(DOUBLE base, DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 base 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数base的格式包括浮点数格式、整数格式、字符串格式。
shiftleft shiftleft函数用于有符号左移，将a的二进制数按位左移b位。 命令格式 shiftleft(BIGINT a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
shiftright shiftright函数用于有符号右移，将a的二进制数按位右移b位。 命令格式 shiftright(BIGINT a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
获取Spark作业委托临时凭证用于访问其他云服务 功能描述 DLI提供了一个通用接口，可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。
to_utc_timestamp to_utc_timestamp函数用于将timezone所对应的时间戳转换为UTC的时间戳。 命令格式 to_utc_timestamp(string timestamp, string timezone) 参数说明 表1 参数说明 参数 是否必选
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的
find_in_set find_in_set函数用于查找字符串str1在以逗号（,）分隔的字符串str2中的位置，从1开始计数。 命令格式 find_in_set(string <str1>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明
lastday lastday函数用于返回date所在月的最后一天，截取到天，时分秒部分为00:00:00。 相似函数：last_day，last_day函数用于返回date所在月份的最后一天。返回值格式为：yyyy-mm-dd。 命令格式 lastday(string date)
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 POM依赖 <dependency>
max_pt max_pt函数用于返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。 命令格式 max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING类型。
regexp_count regexp_count函数用于计算source中从start_position位置开始，匹配指定pattern的子串数。 命令格式 regexp_count(string <source>, string <pattern>[, bigint <start_position>])
substr/substring substr、substring函数用于返回字符串str从start_position开始，长度为length的子串。 命令格式 substr(string <str>, bigint <start_position>[, bigint <length>])
trunc trunc函数用于将date按照特定的格式进行清零操作。 清零操作即返回默认值，年、月、日的默认值为01，时、分、秒、毫秒 的默认值为00。 命令格式 trunc(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下：
percentlie percentile函数用于计算精确百分位数，适用于小数据量。先对指定列升序排列，然后取第p位百分数的精确值。 命令格式 percentile(colname,DOUBLE p) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 colname 是 STRING类型
bround bruond函数用于返回一个数值，该数值是按照指定d位小数进行四舍五入运算的结果。 命令格式 bround(DOUBLE a, INT d) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
