内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • Kafka client 消息接收的三种模式

    Kafka client 消息接收的三种模式 引言 kafka的消费模式总共有3种:最多一次,最少一次,正好一次。为什么会有这3种模式,是因为客户端处理消息,提交反馈(commit)这两个动作不是原子性。 1.最多一次:客户端收到消息后,在处理消息前自动提交,这样kafka就认为

    作者: 多米诺的古牌
    9
    1
  • Kafka

    Kafka Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于

  • Kafka

    KafkaKafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基

  • 修复Kafka

    修复Kafka 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务

  • Kafka权威指南》——初始kafka

    这时Kafka登场了。Kafka登场Kafka就是为了解决上述问题而设计的一款基于发布与订阅的消息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务 的持久记录 , 通过重放这些日志可以重建系统的状态。同样地, Kafka 的数据是按照

    作者: 消失er
    发表时间: 2019-01-23 08:14:52
    1114
    0
  • Kafka最佳实践-Kafka常见的使用误区

    1.  kafka集群单个节点磁盘挂载的越多越好 业界Kafka的标准使用方式是作为临时缓存使用。因此,很多人会误以为,kafka的每个节点只要存储够大就行,不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘,因为磁盘越多,表示需要更多的处理线程去管理(num

    作者: FI小粉丝
    发表时间: 2021-06-24 01:32:07
    2495
    0
  • 运行Kafka作业

    选择“组件管理 > Kafka > 实例”,查看Kafka角色实例的IP地址。记录Kafka角色实例中任意一个的IP地址即可。 运行Kafka作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.

  • Kafka接入指导

    Kafka接入指导 1.引入依赖 本实例场景接入Kafka配置如下: 通过Maven引入需要的Kafka客户端依赖。 <dependency> <groupId>org.apache.kafka</groupId>

  • kafka 查看待消费数据_Kafka入门三:几种消费方式

    Kafka client 消息接收的三种模式 引言 kafka的消费模式总共有3种:最多一次,最少一次,正好一次。为什么会有这3种模式,是因为客户端处理消息,提交反馈(commit)这两个动作不是原子性。  1.最多一次:客户端收到消息后,在处理消息前自动提交,这样kafka就认

    作者: 多米诺的古牌
    45
    0
  • Kafka笔记】Kafka 多线程消费消息

    Kafka多线程消费理解 Kafka Java Consumer设计 Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计,即用户主线程和心跳线程。 用户主线程,指的是启动Consumer应用程序main方法的线程,心跳线程(Heartbeat

    作者: Copy工程师
    发表时间: 2022-01-17 12:05:23
    1801
    0
  • kafka SpringBoot

    port: 8080 spring: application: name: paw-kafka #kafka kafka: # 连接kafka的地址,多个地址用逗号分隔 bootstrap-servers: localhost:9092

    作者: 琴岛蛏子
    发表时间: 2022-03-20 16:16:34
    625
    0
  • 【flink 1.7.2】【向Kafka生产】ClassNotFoundException: org.apache.kafka.

    org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:529)        at org.apache.flink.client.program.PackagedProgram

    作者: 黄金振
    3606
    4
  • Kafka使用最佳实践-Kafka常见的使用误区

    1. kafka集群单个节点磁盘挂载的越多越好 业界Kafka的标准使用方式是作为临时缓存使用。因此,很多人会误以为,kafka的每个节点只要存储够大就行,不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘,因为磁盘越多,表示需要更多的处理线程去管理(num.io.th

    作者: FI小粉丝
    发表时间: 2021-05-28 07:06:50
    2219
    0
  • Kafka生产连接失败

    在使用Kafka时,我们有时候会遇到生产时连接Kafka失败的情况,原因及解决办法如下:1.       Kafka服务异常通过FusionInsight Manager页面,选择“集群->Kafka”,查看当前Kafka集群当前状态,状态是否是良好;如果状态不是良好,说明Kafka服务异常。2

    作者: Summer_
    3683
    0
  • Kafka使用最佳实践-Kafka集群操作规范

    Kafka集群在使用过程中会出现各种各样的操作场景,修改配置参数、集群异常等各种重启场景等,操作过程中需要注意一些注意事项。 离线重启kafka集群 如果需要修改kafka服务端的配置,点击保存配置后,不要勾选“重新启动受影响的服务或实例”。 重启kafka进程前,需要

    作者: FI小粉丝
    发表时间: 2021-05-25 09:05:58
    2361
    0
  • MRS Flink使用SQL-Client对接Hive

    根据产品文档安装Flink客户端; 2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中 3.将jaas.conf放入/opt/client/Flink/flink/conf中 Client {com.sun.security.auth

    作者: yangxiao_mrs
    发表时间: 2021-09-29 09:38:40
    1872
    1
  • 玩转Kafka—Spring&Go整合Kafka

    com/stealthly/go_kafka_client OptioPay:https://github.com/optiopay/kafka https://github.com/nuance/kafka https://github.com/jdamick/kafka.go Con

    作者: Barry Yan
    发表时间: 2022-10-16 11:13:40
    123
    0
  • kafka

    kafka 可以脱离zookeeper单独使用吗?为什么?

    作者: 火灵
    2871
    2
  • 【FI hd 6513】【开源flink 华为kafka】 开源flink连接华为kafka问题

    k kafka connector中开源kafka-client替换为kafka-clients-2.4.0-h0.cbu.mrs.313.r103、在flink-conf.yml 中配置了认证信息#认证参数java.security.auth.login.config: /data/abc/jaas

    作者: menghe
    667
    6
  • Spring-kafka对接华为FusionInsight Kafka样例

    nsumer查看对接安全认证kafka:下载附件中的样例代码,注意pom.xml中修改了依赖,将默认的apache的kafka-client包替换为华为自带的,该依赖包的获取参考如下链接配置mavenhttps://bbs.huaweicloud.com/forum/thread-88552-1-1

    作者: suwei
    5032
    0