-
约束与限制 - 数据湖探索 DLI
检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添加端口,用":"隔开,端口最大限制5位,端口范围:0~65535。
-
时间函数 - 数据湖探索 DLI
-27') 返回3 HOUR(timestamp) BIGINT 返回当前时间戳的24小时制的小时数,范围0-23 例如:HOUR(TIMESTAMP '1994-09-27 13:14:15') 返回13 MINUTE(timestamp) BIGINT 返回当前时间戳中的分钟数,
-
时间函数 - 数据湖探索 DLI
-27') 返回3 HOUR(timestamp) BIGINT 返回当前时间戳的24小时制的小时数,范围0-23 例如:HOUR(TIMESTAMP '1994-09-27 13:14:15') 返回13 MINUTE(timestamp) BIGINT 返回当前时间戳中的分钟数,
-
从Kafka读取数据写入到DWS - 数据湖探索 DLI
分区数:1。 副本数:1。 其他参数保持默认即可。 步骤3:创建DWS数据库和表 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。
-
从Kafka读取数据写入到Elasticsearch - 数据湖探索 DLI
分区数:1。 副本数:1。 其他参数保持默认即可。 步骤3:创建Elasticsearch搜索索引 登录CSS管理控制台,选择“集群管理 > Elasticsearch”。 在集群管理界面,在已创建的CSS集群的“操作”列,单击“Kibana”访问集群。
-
DWS结果表 - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
DWS结果表 - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
Hbase维表 - 数据湖探索 DLI
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。
-
Hbase维表 - 数据湖探索 DLI
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。
-
Hbase维表 - 数据湖探索 DLI
lookup.cache.max-rows 否 -1 Long 维表配置,缓存的最大行数,超过该值时,缓存中最先添加的条目将被标记为过期。 默认表示不使用该配置。 lookup.cache.ttl 否 -1 Long 维表配置,缓存超时时间,超过该时间的数据会被剔除。
-
DWS结果表(不推荐使用) - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 100 Integer 每次写入请求缓存的最大行数。 它能提升写入数据的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
Hbase结果表 - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
ClickHouse - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 100 Integer 写数据时刷新数据的最大行数,默认值为100。
-
使用Flink Jar连接开启SASL - 数据湖探索 DLI
60000); // 设置checkpoint超时时间 streamEnv.getCheckpointConfig().setCheckpointTimeout(60000); // 设置checkpoint最大并发数
-
Redis维表 - 数据湖探索 DLI
lookup.batch.size 否 100L long 可以缓冲的最大输入记录数,以便进行批量查找联接。 lookup.batch 否 false Boolean 指定是否启用批量查找优化。
-
Hbase结果表 - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
从Kafka读取数据写入到RDS - 数据湖探索 DLI
分区数:1。 副本数:1。 其他参数保持默认即可。 步骤3:创建RDS数据库和表 登录RDS管理控制台,在“实例管理”界面,选择已创建的RDS MySQL实例,选择操作列的“更多 > 登录”,进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。
-
使用Flink Jar读写DIS开发指南 - 数据湖探索 DLI
setMinPauseBetweenCheckpoints(60000); // 设置checkpoint超时时间 env.getCheckpointConfig().setCheckpointTimeout(60000); // 设置checkpoint最大并发数
-
Hbase结果表 - 数据湖探索 DLI
sink.buffer-flush.max-rows 否 1000 Integer 每次写入请求缓存的最大行数。 它能提升写入HBase数据库的性能,但是也可能增加延迟。 设置为 "0" 关闭此选项。
-
创建并提交Flink OpenSource SQL作业 - 数据湖探索 DLI
分区数:1。 副本数:1。 其他参数保持默认即可。 步骤2:准备数据输出通道 采用RDS作为数据输出通道,创建RDS MySQL实例,具体操作请参见《云数据库MySQL快速入门》中的“MySQL快速入门”章节。 登录RDS管理控制台。 在管理控制台左上角选择区域。