检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉
properties文件中的ssl.truststore.password参数是否配置正确。 ssl.truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka ssl.truststore.password=dms@kafka Topic名称错误 出现下图的错误信息:
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处于相同region但不同VPC,通过以下任意一种方式访问。 创建VPC对等连接,将两个VPC的网络打通,实现跨
a控制台的“基本信息 > 连接信息”中,获取Kafka实例的连接地址。 topic-name:Topic名称。 示例如下: [root@ecs-kafka bin]# ./kafka-topics.sh --bootstrap-server 192.168.xx.xx:9092,192
分布式消息服务Kafka版设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确认,还需要配合分布式消息服务Kafka版完成消息发送与消费的重复传输设计。
参数说明如下:connection-address表示Kafka实例的连接地址,在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
=file:D:\\temp\\client.jks ## spring.kafka.ssl.trust-store-password为服务器证书密码,无需修改,配置此密码是为了访问Java生成的jks文件。 spring.kafka.ssl.trust-store-password=dms@kafka
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
本信息 > 连接信息”中,获取Kafka实例的连接地址。 consumer-group-name:消费组名称。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
consumer需周期poll,维持和server的心跳,避免心跳超时,导致consumer频繁加入和退出,阻塞消费。 consumer拉取的消息本地缓存应有大小限制,避免OOM(Out of Memory)。 consumer session设置为30秒,session.timeout
number-of-partitions:Topic的分区数。出于性能考虑,建议单个Topic的分区数设置为200以内。 示例如下: [root@ecs-kafka bin]# ./kafka-topics.sh --bootstrap-server 192.168.xx.xx:9092,192
fka控制台的“基本信息 > 连接信息”中,获取Kafka实例的连接地址。 group-name:消费组名称。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启?
度参数。 表1 重置消费进度参数说明 参数 说明 重置类型 选择重置类型: 时间:重置消费进度到指定的时间。 偏移量:重置消费进度到指定的偏移量。 一键重置消费进度只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时,需要设置此参数。 选择重置消费进度的时间点,重置完成后,将从此时间点开始消费。
ssl.truststore.location=E:\\temp\\client.jks #ssl truststore.password为服务器证书密码,配置此密码是为了访问Java生成的jks文件。 ssl.truststore.password=dms@kafka #ssl.endpoint
消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 LogAppendTime:broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小,如果在生产客户端配置文件或代码中启用消息压缩,则表示压缩后的最大批处理大小。
台为准。 100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公网访问。 建议您通过重新购买大于100MB/s带宽的实例解决此问题。
副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生作用(因为客户端不知道是否失败)回馈的offset会总是设置为-1。 acks=1:这意味着至少要等待leader已经成功将数据写入本地log