检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
log log函数根据给定底数及指数返回自然对数。 命令格式 log(DOUBLE base, DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 base 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数base的格式包括浮点数格式、整数格式、字符串格式。
percentile percentlie函数用于返回数值区域的百分比数值点。 命令格式 percentile(BIGINT col, p) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 返回值说明
shiftleft函数用于有符号左移,将a的二进制数按位左移b位。 命令格式 shiftleft(BIGINT a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
shiftright函数用于有符号右移,将a的二进制数按位右移b位。 命令格式 shiftright(BIGINT a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
sum sum函数用于计算求和。 命令格式 sum(col), sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。
指定小数点位置。 命令格式 trunc_numeric(<number>[, bigint<decimal_places>]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 number 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 需要截取的数据。
Delta常见配置参数 提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
件的场景,即不需要旧的作业结果的场景。 结果条数 否 指定导出的结果条数。 不填写数值或数值为“0”时,导出全部结果。 表头 否 设置导出查询结果数据是否含表头。 导出作业结果到本地 异步DDL和QUERY语句支持将结果下载到本地。下载到本地默认仅支持下载1000条数据。 具体操作如下:
builder.appName("datasource-opentsdb").getOrCreate() 创建DLI跨源访问 OpenTSDB的关联表 1 2 3 4 sparkSession.sql("create table opentsdb_test using opentsdb options(
corr corr函数用于返回两列数值的相关系数。 命令格式 corr(col1, col2) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col1 是 DOUBLE、BIGINT、INT、SMALLINT、TINYINT、FLOAT、DECIMAL类型 数据类型为数值的列。其他类型返回NULL。
when_expression,则当指定ELSE子句时,DLI将返回else_result_expression;当没有指定ELSE子句时,返回NULL值。 示例 返回表student中的字段name及与id相匹配的字符。匹配规则如下: id为1则返回'a'; id为2则返回'b'; id为3则返回'c'; 否则返回NULL。
符号右移,将a的二进制数按位右移b位。 命令格式 shiftrightunsigned(BIGINT a, BIGINT b) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。
USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE:支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE,则需要注意以下场景: 表1 不携带OR REPLACE场景说明 序号 场景说明 场景举例 生效机制 操作影响
年份,数字,4位,第一天为星期日 %x 年份,数字,4位,第一天为星期一 %Y 年份,数字,4位 %y 年份,数字,2位,表示年份范围为[1970, 2069] %% 表示字符'%' 示例: select date_format(timestamp '2020-07-25 15:04:00
性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5
鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”
鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。 在弹出的提示页面单击“立即下载”。下载成功后,打开凭证文件,获取AK/SK信息。 左侧导航栏单击“API凭证”,在“项目列表”中获取“项目ID”
逻辑函数 表1 逻辑函数 SQL函数 返回类型 描述 boolean1 OR boolean2 BOOLEAN 如果 boolean1 为 TRUE 或 boolean2 为 TRUE 返回 TRUE。支持三值逻辑。 例如 true || Null(BOOLEAN) 返回 TRUE。
DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。 DEW解密凭据的权限,kms:dek:decrypt。
DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下: 表1 目录结构 名称 说明 dli python环境的DLI SDK基础模块。 examples python样例代码。 pyDLI pyHive的实现接口。