已找到以下 10000 条记录

    • 使用Kafka客户端

      工具查看帮助并使用。./kafka-console-consumer.sh：Kafka消息读取工具./kafka-console-producer.sh：Kafka消息发布工具./kafka-topics.sh：Kafka Topic管理工具命令具体使用方法可参考《应用开发指南》

      开发者  >  其他
      作者： 晋红轻
      1769
      0

    • KafKa - 分区副本ISR选举机制

      一、KafKa分区副本ISR选举机制 kafka 中每一个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有多若干个副本。 所谓的副本，本质上就是一个只能追加写消息的提交日志，根据kafka副本机制的定义，同一个分区下的

      开发者  >  博客
      作者： 小毕超
      发表时间： 2022-06-23 14:22:01
      391
      0

    • kafka位移

      为一条条普通的Kafka消息，提交至内部主题（_consumer_offsets）中保存。实现高持久性和高频写操作。特点: 位移主题是一个普通主题，同样可以被手动创建，修改，删除。 位移主题的消息格式是kafka定义的，不可以被手动修改，若修改格式不正确，kafka将会崩溃。 位移主题保存了三部分内容：Group

      开发者  >  博客
      作者： Rolle
      发表时间： 2023-11-30 17:29:49
      5
      0

    • Springboot2.0整合Kafka，从Kafka并发、批量获取数据

      0整合Kafka，从Kafka并发、批量获取数据 Kafka安装 Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring

      开发者  >  其他
      作者： 多米诺的古牌
      21
      1

    • Springboot2.0整合Kafka，从Kafka并发、批量获取数据

       Kafka安装 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。

      开发者  >  其他
      作者： 多米诺的古牌
      54
      1

    • 使用Kafka Token认证 - MapReduce服务 MRS

      BOOTSTRAP_SERVERS需根据集群实际情况，配置为Kafka Broker节点的主机名及端口，可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_PROTOCOL为连接Kafka的协议类型，在本示例中，配置为“SASL_PLAINTEXT”。

      帮助中心 > MapReduce服务 MRS > 开发指南（LTS版） > Kafka开发指南（安全模式） > 准备Kafka应用开发环境 > 配置Kafka应用安全认证

    • 【MRS_spark2.x】【对接205环境Kafka】网络能ping通，本地IDEA能连接，MRS集群连接失败

      core.Kafka_sparkStreaming_elasticSearch /opt/sparkTest/sparkdemo-1.0-SNAPSHOT.jar【截图信息】1.spark程序所使用依赖。2.提交到MRS集群上之后运行报错位置，显示集群节点不能连接（Kafka配置与本

      开发者  >  其他
      作者： zcr
      7450
      11

    • Kafka消息的存储机制

      Kafka消息的存储机制 Kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。都是持久化到磁盘,采用零拷贝技术。 1、高效检索 分区下面，会进行分段操作，每个分段都会有对应的索引，这样就可以根据 offset二分查

      开发者  >  博客
      作者： 孙中明
      发表时间： 2022-04-03 08:44:01
      434
      0

    • Kafka安全使用说明 - MapReduce服务 MRS

      步骤） kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 使用“kafka-acl.sh”进行用户授权常用命令如下： 查看某Topic权限控制列表： ./kafka-acls.sh --authorizer-properties

      帮助中心 > MapReduce服务 MRS > 故障排除 > 使用Kafka

    • 连接集群

      连接集群 连接集群的方式 获取集群连接地址 使用gsql命令行客户端连接集群 使用Data Studio图形界面客户端连接集群 使用JDBC和ODBC连接集群 使用DAS连接集群 使用Python第三方库psycopg2连接集群

      开发者 >  开发服务

    • Kafka查看Topic的信息

      1. Kafka查看所有topic列表 查看所有topic的list信息，命令如下： kafka-topics.sh --list --zookeeper <ZK_IP1:ZK_PORT,ZK_IP2:ZK_PORT,.../kafka> 2. Kafka查看topic的describe信息，命令如下：

      开发者  >  博客
      作者： Summer_
      发表时间： 2022-04-28 03:05:04
      786
      0

    • 连接状态未连接

      连接状态未连接 服务端点格式不正确 配置信息配置有误 有效地址范围重复 父主题： 常见问题

      开发者 >  开发服务

    • kafka简介

      Apache Kafka 是一款开源的消息引擎系统，也是分布式流处理平台，使用的是纯二进制的字节序列。 kafka术语 Topic: 发布订阅的对象是主题（Topic） 生产者程序通常持续不断地向一个或多个主题发送消息 Producer:向主题发布消息的客户端应用程序称为生产者（Producer）

      开发者  >  博客
      作者： Rolle
      发表时间： 2023-11-30 19:59:32
      85
      0

    • Kafka offset清理

      sh kafka-mirror-maker.sh kafka-topics.sh kafka-console-producer.sh kafka-preferred-replica-election.sh kafka-verifiable-consumer

      开发者  >  博客
      作者： 张俭
      发表时间： 2023-12-29 17:39:13
      0
      0

    • Kafka生产发送数据失败

      我们使用kafka时，有时候会遇到发送数据失败的情况，其原因及解决方案如下：1.     Kafka topic leader为-1Kafka客户端执行如下命令查看topic的leader信息：kafka-topics.sh --describe --zookeeper zk业务

      开发者  >  其他
      作者： Summer_
      3670
      0

    • kafka经典维护案例集合

      4FusionInsight Kafka创建Topic失败原因及解决方案★★★排查手段3.1如何根据strace信息定位异常连接的客户端★★3.2收集kafka-root.log查看每个broker节点的磁盘IO★★★★★3.3检测网络异常的通用方式★★★★★3.4Kafka集群性能的检测方式★★★★★3

      开发者  >  其他
      作者： Bigdata Go!
      300
      0

    • 看完这篇Kafka，你也许就会了Kafka

      场景 消费形式 kafka基础架构 Record 、Topic、Broker、leader、follower 分区&日志 生产者与消费者 写入和读出的性能 Kafka环境搭建 & Topic管理： kafka和zookeeper之间的关系

      开发者  >  博客
      作者： 毛利
      发表时间： 2021-07-14 19:52:33
      1170
      0

    • Kafka单机实例 - 分布式消息服务Kafka版

      Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成，兼容开源Kafka 2.7版本，适用于测试场景，不建议用于生产业务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS

      帮助中心 > 分布式消息服务Kafka版 > 产品介绍 > Kafka实例规格

    • Kafka日志介绍 - MapReduce服务 MRS

      Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker：“/var

      帮助中心 > MapReduce服务 MRS > 组件操作指南（普通版） > 使用Kafka > Kafka运维管理

    • kafka配置命令

      /export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh /export/servers/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 & 关闭 bin/kafka-server-stop

      开发者  >  博客
      作者： 百忍成金的虚竹
      发表时间： 2021-03-25 15:09:29
      1447
      0
    总条数： 10000
    点击加载更多