检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于导入C++库，Golang编译器需要引入额外编译配置，增加了编译依赖，提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库，易于学习和使用。 kafka-go的代码库相对较小，依赖较少，可以减少应用程序的体积和依赖关系。
echo 'export PATH=$PATH:/usr/local/go/bin' >> ~/.profile source ~/.profile 执行以下命令，获取demo需要的代码库。
满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL
图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。
（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。
（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。
（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。
提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
