检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
Orders.productId = Product.id; Time-windowed Join 功能描述 每条流的每一条数据会与另一条流上的不同时间区域的数据进行JOIN。 语法格式 from t1 JOIN t2 ON t1.key = t2.key AND TIMEBOUND_EXPRESSIO
所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。 A / B 所有数字类型
JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5
orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题: 数据操作语句DML
日期函数概览 DLI所支持的日期函数如表1所示。 表1 日期/时间函数 函数 命令格式 返回值 功能简介 add_months add_months(string start_date, int num_months) STRING 返回start_date在num_months个月之后的date。
参数类型 说明 database_name 是 String 新增数据库名称。 数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明: “default”为内置数据库,不能创建名为“default”的数据库。
口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果 注意事项 若使用insert语句将结果写入sink中,则sink需要支持upsert模式。 语法格式 TUMBLE(time_attr
JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5
>=50 and id < 100。 fetchsize 读取数据时,每一批次获取数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。 batchsize 写入数据时,每一批次写入数据的记录数,默认值1000。设置越大性能越好,但占用内存越多,该值设置过大会有内存溢出的风险。
DIS源表 功能描述 创建source流从数据接入服务(DIS)获取数据。用户数据从DIS接入,Flink作业从DIS的通道读取数据,作为作业的输入数据。Flink作业可通过DIS的source源将数据从生产者快速移出,进行持续处理,适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。
表示所有行都聚合在一个分组下,即使没有数据,也会输出结果。 对于 Grouping Sets 中的空子列表,结果数据中的分组或表达式列会用NULL代替。例如,上例中的 GROUPING SETS ((supplier_id), ()) 里的 () 就是空子列表,与其对应的结果数据中的 supplier_id
文件系统输出流(推荐) 功能描述 创建sink流将数据输出到分布式文件系统(HDFS)或者对象存储服务(OBS)等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
否 3 Integer 维表配置,数据拉取最大重试次数。 krb_auth_name 否 无 String DLI侧创建的Kerberos类型的跨源认证名称。 数据类型映射 HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop)
功能描述 窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,性能较好。通常
CSV Format Debezium Format JSON Format Maxwell Format Raw Format 父主题: 数据定义语句DDL
JDBC结果表 Kafka结果表 Print结果表 Redis结果表 Upsert Kafka结果表 FileSystem结果表 父主题: 数据定义语句DDL
batch_insert_data_num 是 表示一次性批量写入的数据量,值必须为正整数,单位为:条。上限为65536,默认值为10。 action 否 当值为add时,表示遇到相同id时,数据被强制覆盖,当值为upsert时,表示遇到相同id时,更新数据(选择upsert时,es_fields字段中必须指定id),默认值为add。
Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表
orderTime; Limit 功能描述 限制返回的数据结果个数 注意事项 LIMIT 查询需要有一个 ORDER BY 字句 示例 SELECT * FROM Orders ORDER BY orderTime LIMIT 3; 父主题: 数据操作语句DML