检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e API和SQL查询语句中来访问。详情参考Apache Flink Catalogs 功能描述 HiveCatalog有两个用途:作为原生Flink元数据的持久化存储,以及作为读写现有Hive元数据的接口。 Flink 的Hive 文档提供了有关设置 HiveCatalog以及访问现有
HBase以字节数组存储所有数据。在读和写过程中要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类 org.apache.hadoop.hbase.util.Bytes 进行字节数组和 Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null
Maxwell Format Ogg Format Orc Format Parquet Format Raw Format 父主题: Flink Opensource SQL1.15语法参考
所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,并提交运行,其代码如下: CREATE TABLE kafkaSource ( order_id
octime。升序( ASC )排列指只保留第一行,而降序排列( DESC )则只保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。 注意事项 无 示例 根据order_id对数据进行去重,其中proctime为事件时间属性列
义,默认为“,”。 connector.ak 否 用于访问obs的accessKey 当写入obs时必须填写该字段。 connector.sk 否 用于访问obs的secretKey 当写入obs时必须填写该字段。 connector.partitioned-by 否 分区字段,多个字段以“
| 语句: SELECT cast(content as date) FROM T1; 结果: "2018-01-01" Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp进行转换。 详细样例代码 /** source
全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI,示例代码如下:
importorg.apache.flink.table.annotation.DataTypeHint; importorg.apache.flink.table.annotation.FunctionHint; importorg.apache.flink.table.functions
创建结果表 ClickHouse结果表 Kafka结果表 Upsert Kafka结果表 DIS结果表 JDBC结果表 DWS结果表 Redis结果表 SMN结果表 Hbase结果表 Elasticsearch结果表 OpenTSDB结果表 userDefined结果表 Print结果表
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
Flink作业重启后,如何保证不丢失数据? DLI Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。 为了避免系统故障导致作业异常自动重启后,丢失数据: 对于Flink SQL作业,您可以
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
描述 tableName.compositeType.field 按名称从 Flink 复合类型(例如,Tuple,POJO)返回字段的值。 tableName.compositeType.* 返回 Flink 复合类型(例如,Tuple,POJO)的平面表示,将其每个直接子类型转换为单独的字段。在大多数情况下,平面表示
BETWEEN 子句定义上下边界,其内的所有行都会聚合。Flink 只支持 CURRENT ROW 作为上边界。有两种方法可以定义范围:ROWS 间隔 和 RANGE 间隔: RANGE 间隔 RANGE 间隔是定义在排序列值上的,在 Flink 里,排序列总是一个时间属性。下面的 RANG
全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1
[asc|desc][, col2 [asc|desc]...]: 指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND
化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型 MOR表,COW表 支持读写类型 批量读,批量写,流式读,流式写 Hudi源表 Hudi 结果表