内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 使用Kafka客户端

    工具查看帮助并使用。./kafka-console-consumer.sh:Kafka消息读取工具./kafka-console-producer.sh:Kafka消息发布工具./kafka-topics.sh:Kafka Topic管理工具命令具体使用方法可参考《应用开发指南》

    作者: 晋红轻
    1777
    0
  • kafka经典维护案例集合

    4FusionInsight Kafka创建Topic失败原因及解决方案★★★排查手段3.1如何根据strace信息定位异常连接的客户端★★3.2收集kafka-root.log查看每个broker节点的磁盘IO★★★★★3.3检测网络异常的通用方式★★★★★3.4Kafka集群性能的检测方式★★★★★3

    作者: Bigdata Go!
    313
    0
  • 本地环境消费开源kafka,将数据写入mrs kafka

    生产者代码:报错情况:

    作者: yd_242466734
    104
    2
  • Springboot2.0整合Kafka,从Kafka并发、批量获取数据

     Kafka安装 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。

    作者: 多米诺的古牌
    55
    1
  • Kafka分区未同步

    一、          节点故障或磁盘下线1.      Kafka节点服务异常通过FusionInsight Manager页面,选择“集群->Kafka”,查看当前Kafka集群当前状态,状态是否是良好;如果状态不是良好,说明Kafka服务异常。2.      磁盘下线通过FusionInsight

    作者: Summer_
    4755
    0
  • KafKa - 分区副本ISR选举机制

    一、KafKa分区副本ISR选举机制 kafka 中每一个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的,每个分区配置有多若干个副本。 所谓的副本,本质上就是一个只能追加写消息的提交日志,根据kafka副本机制的定义,同一个分区下的

    作者: 小毕超
    发表时间: 2022-06-23 14:22:01
    391
    0
  • Kafka生产发送数据失败

                    我们使用kafka时,有时候会遇到发送数据失败的情况,其原因及解决方案如下:1.     Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息:kafka-topics.sh --describe --zookeeper

    作者: Summer_
    3991
    0
  • Kafka详解

    org/confluence/display/KAFKA/Clients Kafka API简单易用,日志存储之利器。Storm和Kafka的对接:KafkaSpoutStrom从Kafka中读取数据,本质:实现一个Storm中的Spout,来读取Kafka中的数据;这个Spout,可以称为Kafka Spout。支持两种类型的Spout:1

    作者: Smy1121
    发表时间: 2019-06-21 19:23:23
    5610
    0
  • Kafka全景实践课

    想学习当下热门的分布式消息系统Kafka?华为云专家倾囊相授,5节精编实战课,带你从零基础入门到实战操作,轻松玩转Kafka

  • kafka搭建

    1、上传并解压kafka [root@win1 soft]# tar -zxvf kafka_2.11-2.1.0.tgz 2、创建logfile文件夹 [root@win1 kafka_2.11-2.1.0]# mkdir -p /hadoop/soft/kafka_2.11-2

    作者: 菜鸟级攻城狮
    发表时间: 2021-02-28 08:08:42
    3356
    0
  • Kafka实战(二)-Kafka消息模型核心概念

    nce是Kafka消费者端实现高可用的重要手段。 9 为什么Kafka不像MySQL允许追随者副本对外提供读服务? 不从follower读几个原因:1,kafka的分区已经让读是从多个broker读从而负载均衡,不是MySQL的主从,压力都在主上;2,kafka保存的数据

    作者: JavaEdge
    发表时间: 2021-06-03 16:23:11
    1527
    0
  • Kafka查看Topic的信息

    1. Kafka查看所有topic列表 查看所有topic的list信息,命令如下: kafka-topics.sh --list --zookeeper <ZK_IP1:ZK_PORT,ZK_IP2:ZK_PORT,.../kafka> 2. Kafka查看topic的describe信息,命令如下:

    作者: Summer_
    发表时间: 2022-04-28 03:05:04
    786
    0
  • Kafka消息的存储机制

    Kafka消息的存储机制 Kafka通过topic来分主题存放数据,主题内有分区,分区可以有多个副本,分区的内部还细分为若干个segment。都是持久化到磁盘,采用零拷贝技术。 1、高效检索 分区下面,会进行分段操作,每个分段都会有对应的索引,这样就可以根据 offset二分查

    作者: 孙中明
    发表时间: 2022-04-03 08:44:01
    434
    0
  • kafka简介

    Apache Kafka 是一款开源的消息引擎系统,也是分布式流处理平台,使用的是纯二进制的字节序列。 kafka术语 Topic: 发布订阅的对象是主题(Topic) 生产者程序通常持续不断地向一个或多个主题发送消息 Producer:向主题发布消息的客户端应用程序称为生产者(Producer)

    作者: Rolle
    发表时间: 2023-11-30 19:59:32
    85
    0
  • Kafka offset清理

    sh kafka-mirror-maker.sh kafka-topics.sh kafka-console-producer.sh kafka-preferred-replica-election.sh kafka-verifiable-consumer

    作者: 张俭
    发表时间: 2023-12-29 17:39:13
    0
    0
  • [学习Kafka-第3天] Kafka消费机制实践

    Java代码:package dms.kafka.demo; import java.util.Arrays; import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerRecord;

    作者: 喔喔
    3901
    0
  • 迁移Kafka数据至DLI

    数据源连接。配置源端MRS Kafka的数据源连接。登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。在作业管理界面,选择“连接管理”,单击“新建连接”,连接器类型选择“MRS Kafka”,单击“下一步”。图2 创建MRS Kafka数据源配置源端MRS

    作者: yd_228714723
    284
    0
  • 看完这篇Kafka,你也许就会了Kafka

    场景 消费形式 kafka基础架构 Record 、Topic、Broker、leader、follower 分区&日志 生产者与消费者 写入和读出的性能 Kafka环境搭建 & Topic管理: kafka和zookeeper之间的关系

    作者: 毛利
    发表时间: 2021-07-14 19:52:33
    1170
    0
  • kafka配置命令

    /export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh /export/servers/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 & 关闭 bin/kafka-server-stop

    作者: 百忍成金的虚竹
    发表时间: 2021-03-25 15:09:29
    1447
    0
  • kafka 的架构

    讲一下kafka 的架构 一个典型的Kafka集群中包含若干Producer,若干broker,若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行r

    作者: 孙中明
    发表时间: 2022-04-03 08:44:57
    548
    0