检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stddev_samp函数用于返回指定列的样本偏差。 命令格式 stddev_samp(col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的样本偏差。命令示例如下:
DLI提供了一个通用接口,可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com.huaweicloud.sdk.core
如果指定了ONLY参数,则结果集将限制为包含参数数量的前若干行。 如果指定了WITH TIES参数,则要求必须带ORDER BY子句。其结果集中包含符合条件的前若干行基本结果集以及额外的行。这些额外的返回行与基本结果集中最后一行的ORDER BY的参数一样: CREATE TABLE nation
to_date to_date函数用于返回时间中的年月日。 相似函数:to_date1,to_date1函数用于将指定格式的字符串转换为日期值,支持指定转换的日期格式。 命令格式 to_date(string timestamp) 参数说明 表1 参数说明 参数 是否必选 参数类型
概述 DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据,目前支持的DLI跨源访问服务有:表格存储服务CloudTable,云搜索服务CSS,分布式缓存服务DCS,文
BY:对全局进行单列或多列排序。与GROUP BY一起使用时,ORDER BY后面可以跟聚合函数。 注意事项 所排序的表必须是已经存在的,否则会出错。 示例 根据字段score对表student进行升序排序,并返回排序后的结果。 1 2 SELECT * FROM student ORDER BY score;
y_of_week的日期。 命令格式 next_day(string start_date, string day_of_week) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 start_date 是 DATE 或 STRING 代表需要处理的日期。 start_
用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 className 是 String 批处理作业的Java/Spark主类。 queue 否 String 用于指定队列,填写已创建DLI的队列名。必须为通用类型的队列。 说明:
rand函数用于返回大于或等于0且小于1的平均分布随机数。 命令格式 rand(INT seed) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 seed 否 INT类型。 参数seed的格式包括浮点数格式、整数格式、字符串格式。 如果指定种子seed,在相同运行环境下,将会得到一个稳定的随机数序列。
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看到一个stage运行时间超过
datetrunc datetrunc函数用于计算将日期date按照datepart指定的时间单位进行截取后的日期值。 截取datepart之前的部分,除截取的部分外自动填充为默认值。可参考示例代码。 命令格式 datetrunc (string date, string datepart)
他服务的操作权限。 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。 当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。 管理单元 管理单元CU数量。 并行数 作业的并行数是指作业中各个算子的并行执行
to_date1 to_date1函数用于将指定格式的字符串转换为日期值。 相似函数:to_date,to_date函数用于返回时间中的年月日,不支持指定转换的日期格式。 命令格式 to_date1(string date, string format) 参数说明 表1 参数说明
source 是 STRING 待搜索的字符串。 pattern 是 STRING STRING类型常量或正则表达式。待匹配的模型。 start_position 否 BIGINT 起始位置,必须大于0。不指定时默认为1,表示从source的第一个字符开始匹配。 occurrence
参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。
先依据num对表transactions进行分组,再利用HAVING子句对查询结果进行过滤,price与amount乘积的最大值大于5000的记录将被筛选出来,返回对应的num及price与amount乘积的最大值。 1 2 3 4 SELECT num, max(price*amount) FROM transactions
greatest greatest函数用于返回列表中的最大值。 命令格式 greatest(T v1, T v2, ...) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 v1 是 DOUBLE、BIGINT、DECIMAL类型。 参数v1的格式包括浮点数格式、整数格式。 v2 是
计算两个时间date1、date2的日期差值中的被减数。 格式为: yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 date2 是 DATE 或 STRING 计算两个时间date1、date2的日期差值的减数。 格式为: yyyy-mm-dd
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager