检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: 生态组件对接
配置Doris对接Hudi数据源 在MRS集群元数据存储在Hive MetaStore的场景中,Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源,支持对接Hudi所有的数据字段类型。 该操作适用于MRS 3.5.0版本。
父主题: Flink对接云搜索服务(CSS)样例程序
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。
图5 连接成功 父主题: 生态组件对接
图12 选择图表类型 父主题: 生态组件对接
配置ClickHouse对接OBS源文件 本章节主要介绍使用ClickHouse对接OBS进行文件读写。 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。
父主题: 周边生态对接类
ssc.start() ssc.awaitTermination() } } 父主题: Spark Streaming对接Kafka0-10样例程序
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka
父主题: 周边云服务对接
父主题: Spark Structured Streaming对接Kafka样例程序
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。
父主题: 周边生态对接类
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务,存在广告请求事件、广告展示事件、广告点击事件,广告主需要实时统计有效的广告展示和广告点击数据。
配置Flink对接Kafka安全认证 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。