检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse结果表 功能描述 DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse
在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。 填写组织名称,单击“确定”。 编写Dockerfile文件。
option("key.column","name")”指定,name为列名 如果需要保存嵌套的DataFrame,则通过“.option("model","binary")”进行保存 如果需要指定数据过期时间:“.option("ttl",1000)”;秒为单位 读取redis上的数据
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
读取RDS上的数据 1 2 3 4 5 6 7 8 9 jdbcDF = sparkSession.read \ .format("jdbc") \ .option("url", url) \ .option("dbtable", dbtable)
ClickHouse结果表 功能描述 DLI将Flink作业数据输出到ClickHouse中。 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
mutableRow)), 1) 导入数据到OpenTSDB 1 sparkSession.createDataFrame(rddData, new StructType(attrs)).write.insertInto("opentsdb_test") 读取OpenTSDB上的数据
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。
读取DWS上的数据 1 2 3 4 5 6 7 8 9 jdbcDF = sparkSession.read \ .format("jdbc") \ .option("url", url) \ .option("dbtable", dbtable) \
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,
语法说明 表1 语法说明 参数 是否必选 说明 PARTITION BY 否 将数据行进行逻辑上的分组。 ORDER BY 否 在分区中对数据行进行逻辑排序。 [ONE ROW | ALL ROWS] PER MATCH 否 为每个匹配选择输出汇总或者明细。
语法说明 表1 语法说明 参数 是否必选 说明 PARTITION BY 否 将数据行进行逻辑上的分组。 ORDER BY 否 在分区中对数据行进行逻辑排序。 [ONE ROW | ALL ROWS] PER MATCH 否 为每个匹配选择输出汇总或者明细。
查询所有队列 功能介绍 该API用于列出该project下所有的队列。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/queues 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id
读取mongo上的数据 1 2 3 4 5 6 7 8 val jdbcDF = spark.read.format("mongo").schema(schema) .option("url", url) .option("uri", uri) .option("database
滑动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 SESSION(time_attr, interval) 定义一个会话时间窗口。
滑动窗口可以定义在事件时间(批处理、流处理)或处理时间(流处理)上。 SESSION(time_attr, interval) 定义一个会话时间窗口。
注意: 定义在一个数据源表( source table )上的计算列会在从数据源读取数据后被计算,它们可以在 SELECT 查询语句中使用。