检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data_path 是 String 导入的数据路径(当前仅支持导入OBS上的数据)。 data_type 是 String 导入的数据类型(当前支持csv、parquet、orc、json、avro数据类型)。 说明: 不支持导入Hive表生成的avro格式数据。 database_name
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 POM依赖 <dependency>
自定义函数 概述 DLI支持三种自定义函数: UDF:自定义函数,支持一个或多个输入参数,返回一个结果值。 UDTF:自定义表值函数,支持一个或多个输入参数,可返回多行多列。 UDAF:自定义聚合函数,将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。
property_value 格式 无。 说明 属性值,仅支持字符串类型。 父主题: 标示符
regex_expression 格式 无。 说明 模式匹配字符串,支持通配符匹配。 父主题: 标示符
num_buckets 格式 无。 说明 分桶的个数,仅支持INT类型。 父主题: 标示符
property_name 格式 无。 说明 属性名称,仅支持字符串类型。 父主题: 标示符
value11 = value21 [ AND value12 = value22] 注意事项 目前仅支持 equi-join ,即 join 的联合条件至少拥有一个相等谓词。不支持任何 cross join 和 theta join。 Join 的顺序没有进行优化,join 会按照
式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka topic。表类型支持源表和结果表。 作为source,upsert-kafka
function_name 格式 无。 说明 函数名称,仅支持字符串类型。 父主题: 标示符
data_type 格式 无。 说明 数据类型,当前只支持原生数据类型。 父主题: 标示符
数学函数概览 DLI所支持的数学函数如数学函数所示。 表1 数学函数 函数 命令格式 返回值 功能简介 abs abs(DOUBLE a) DOUBLE或INT 取绝对值。 acos acos(DOUBLE a) DOUBLE 返回给定角度a的反余弦值。 asin asin(DOUBLE
value11 = value21 [ AND value12 = value22] 注意事项 目前仅支持 equi-join ,即 join 的联合条件至少拥有一个相等谓词。不支持任何 cross join 和 theta join。 Join 的顺序没有进行优化,join 会按照
字符串函数概览 DLI所支持的字符函数如字符串函数所示。 表1 字符串函数 函数 命令格式 返回值 功能简介 ascii ascii(string <str>) BIGINT 返回字符串中首字符的数字值。 concat concat(array<T> <a>, array<T> <b>[
number 格式 无。 说明 LIMIT限制输出的行数,只支持INT类型。 父主题: 标示符
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。
聚合函数概览 DLI所支持的聚合函数如聚合函数表所示。 表1 聚合函数表 函数 命令格式 返回值 功能简介 avg avg(col), avg(DISTINCT col) DOUBLE 求平均值。 corr corr(col1, col2) DOUBLE 返回两列数值的相关系数。
数据类型介绍 目前使用Hetu引擎建表时支持的数据类型有:tinyint,smallint,bigint,int,boolean,real,decimal,double,varchar,string,binary,varbinary,timestamp,date,char,arr
Upsert Kafka源表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 作为 source,upsert-kafka 连接器生产changelog流,其中
DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件