检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。
创建FlinkServer作业对接DWS表 操作场景 FlinkServer支持对接8.1.x及之后版本的GaussDB(DWS)数据库,本章节介绍GaussDB(DWS)作为Source表、Sink表以及维表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer
SELECT * FROM opentsdb_table LIMIT 100; SELECT * FROM opentsdb_table WHERE city='city1'; 父主题: Spark对接OpenTSDB
父主题: 周边生态对接类
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。
ssc.start() ssc.awaitTermination() } } 父主题: Spark Streaming对接Kafka0-10样例程序
spark-beeline执行set语句后,再执行其他SQL: set spark.sql.datasource.opentsdb.host = 192.168.2.143,192.168.2.158; SELECT * FROM opentsdb_table ; 父主题: Spark对接
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求,开发的Spark应用程序实现如下功能: 实时累加计算每个单词的记录总数。
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。
ssc.start() ssc.awaitTermination() } } 父主题: Spark Streaming对接Kafka0-10样例程序
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。
Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0和PostgreSQL14。
安全集群中使用Python3.x对接Kafka 用户问题 通过Python3.x环境如何对接开启Kerberos认证的Kafka集群? 问题现象 客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。
父主题: 周边生态对接类
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。