-
lag - 数据湖探索 DLI
指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下: create
-
lag - 数据湖探索 DLI
指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下: create
-
JSON Format - 数据湖探索 DLI
否则表示未成功 创建flink opensource sql作业,并选择flink版本为1.15,选择保存日志,然后提交并运行,其SQL代码如下: CREATE TABLE kafkaSource ( order_id string, order_channel string
-
DataGen - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
指定筛选条件删除分区(只支持OBS表) - 数据湖探索 DLI
"student13"), (3010214, "student14"); 查看分区。 利用查看指定表所有分区中的内容,可以查看相关的分区内容。 示例代码如下: SHOW partitions student; 表2 表数据示例 facultyNo classNo facultyNo=10 classNo=101
-
指定筛选条件删除分区(只支持OBS表) - 数据湖探索 DLI
"student13"), (3010214, "student14"); 查看分区。 利用查看指定表所有分区中的内容,可以查看相关的分区内容。 示例代码如下: SHOW partitions student; 表2 表数据示例 facultyNo classNo facultyNo=10 classNo=101
-
Ogg Format - 数据湖探索 DLI
测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource sql作业,选择flink1.15版本,并提交运行,其代码如下: CREATE TABLE kafkaSource ( id bigint, name string, description
-
Doris维表 - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
构造请求 - 数据湖探索 DLI
} } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于IAM获取用户Token接口,返回的响应消息头中“x-subject-token”就是需要获取的用户Toke
-
Doris源表 - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
JDBC - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
窗口 - 数据湖探索 DLI
效。 辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用。 若使用事件时间,则需要使用watermark标识,代码如下(其中order_time被标识为事件时间列,watermark时间设置为3秒): CREATE TABLE orders ( order_id
-
窗口 - 数据湖探索 DLI
辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用。 如果使用事件时间,则需要使用watermark标识,代码如下(其中order_time被标识为事件时间列,watermark时间设置为3秒): CREATE TABLE orders ( order_id
-
窗口 - 数据湖探索 DLI
效。 辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用。 若使用事件时间,则需要使用watermark标识,代码如下(其中order_time被标识为事件时间列,watermark时间设置为3秒): CREATE TABLE orders ( order_id
-
使用DLI进行车联网场景驾驶行为数据分析 - 数据湖探索 DLI
步骤1:上传数据。将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 步骤2:分析数据。使用DLI对待分析的数据进行查询。 示例代码 具体样例数据及详细SQL语句可以通过数据包进行下载。 方案优势 数据免搬迁:DLI支持与多种数据源的对接,直接通过SQL建表就可以完成数据源的映射。
-
Hbase源表 - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
Kafka - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
Kafka结果表 - 数据湖探索 DLI
具体方式请参考客户端SSL加密功能使用说明。 若运行作业提示“Message stream modified (41)”,可能与JDK的版本有关系,可以尝试修改运行样例代码的JDK为8u_242以下版本或删除“krb5.conf”配置文件的“renew_lifetime = 0m”配置项。 端口请使用KafKa服务配置中设置的sasl_ssl
-
Kafka结果表 - 数据湖探索 DLI
具体方式请参考客户端SSL加密功能使用说明。 若运行作业提示“Message stream modified (41)”,可能与JDK的版本有关系,可以尝试修改运行样例代码的JDK为8u_242以下版本或删除“krb5.conf”配置文件的“renew_lifetime = 0m”配置项。 端口请使用KafKa服务配置中设置的sasl_ssl
-
DWS源表(不推荐使用) - 数据湖探索 DLI
1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource