检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数 是否必选 说明 col 是 数据类型为数值的列。 参数为其他类型的列返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的方差。命令示例如下: select variance(items) from warehouse; --等效于如下语句。
regexp_count regexp_count函数用于计算source中从start_position位置开始,匹配指定pattern的子串数。 命令格式 regexp_count(string <source>, string <pattern>[, bigint <start_position>])
切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 3.1.1版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。
例如:假设指定了一个 5 分钟的滚动窗口。Flink 将每 5 分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。 在批计算模式,窗口表函数的时间属性字段必须是 TIMESTAMP
设置复合rowkey,即根据多个字段设置。 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1 示例 create table hbaseSink( rowkey string, name string
memoryOverheadFactor。 Spark3.3.及以上版本增加了对作业的计算资源规格的约束限制。详细信息请参考表6。 若计算资源规格配置值设置得过高,超出了集群或项目的资源分配能力,作业可能会因资源申请失败导致运行错误。 表6 计算资源规格取值范围 参数说明 标准版弹性资源池修改后限制 基础版弹性资源池
读取复合rowkey的内容,并根据设置的大小,赋给新的字段 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于1。表示将复合rowkey的前三个字节赋给字段rowkey1,其后三个字节赋给字段rowkey2 示例 create table
暂不支持通过python写UDF、UDTF、UDAF自定义函数。 Flink Opensource SQL作业中使用自定义函数时,不支持生成静态流图。 POM依赖 <dependency> <groupId>org.apache.flink</groupId>
BY子句定义的,其特征是包含窗口表值函数产生的 “window_start” 和 “window_end” 列。和普通的 GROUP BY 子句一样,窗口聚合对于每个组会计算出一行数据。和其他连续表上的聚合不同,窗口聚合不产生中间结果,只在窗口结束产生一个总的聚合结果,另外,窗口聚合会清除不需要的中间状态。 更
SETS 的 GROUP BY 子句可以生成一个等效于由多个简单 GROUP BY 子句的 UNION ALL 生成的结果集,并且其效率比 GROUP BY 要高。 ROLLUP与CUBE按一定的规则产生多种分组,然后按各种分组统计数据。 CUBE生成的结果集显示了所选列中值的所有组合的聚合。
弹性资源池上可以添加多个不同队列用于作业运行,具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后,可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数,从而来保障作业的稳定运行。 注意事项 建议对流批业务实施资源池的精细化管理,将Fli
只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过128个字符。 说明: 队列名称不区分大小写,系统会自动转换为小写。 类型 SQL队列:SQL作业的计算资源。 通用队列:Spark作业 、Flink作业的计算资源。 说明: 专属队列是指队
数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)和价格(price)的协方差。命令示例如下: select covar_pop(items,price) from
数据类型为数值的列。其他类型返回NULL。 col2 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)和价格(price)的样本协方差。命令示例如下: select covar_samp(items,price) from
自动续费的规则如下所述: 以资源的到期日计算第一次自动续费日期和计费周期。 您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至到期或者续费成功。
数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 返回值说明 返回DOUBLE类型的值。 0<=P<=1,否则返回NULL。 示例代码 计算所有商品库存(items)的 0.5 百分位。命令示例如下: select percentile(items,0.5) from warehouse;
参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的偏差。命令示例如下: select stddev_pop(items) from warehouse; 返回结果如下:
参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。 其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)的样本方差。命令示例如下: select var_samp(items) from warehouse; 返回结果如下:
NYINT、FLOAT、DECIMAL类型 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存(items)和价格(price)的相关系数。命令示例如下: select corr(items,price) from warehouse;
regexp_substr regexp_substr函数用于计算从start_position位置开始,source中第occurrence次匹配指定pattern的子串。 命令格式 regexp_substr(string <source>, string <pattern>[