检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么不建议使用Sarama客户端收发消息? 问题现象 使用Sarama客户端收发消息存在以下问题: Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为10
通过公网访问Kafka(明文接入)。 入方向 TCP IPv4 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。 入方向 TCP IPv6 9192 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka实例(关闭SSL加密)。 入方向 TCP IPv6 9193 Kafka客户端所在的IP地址或地址组
获取项目ID 操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET ht
本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafk
开启公网访问后,在哪查看公网IP地址? 在Kafka控制台,单击Kafka实例名称,进入实例详情页面。在“基本信息”页签,查看公网IP地址(即“公网连接地址”)。 如果您需要连接Kafka实例,请参考连接Kafka。 父主题: 连接问题
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout
客户端删除消费组后,在Kafka Manager中仍可以看到此消费组? 客户端删除消费组后,此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题: 重启Kafka Manager。 Kafka
本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端 检查网络 在连接Kafka
云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问Kafka实例的安全性。 弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic
支持协议:选择“TCP” 公网IP类型:选择“弹性公网IP”,在下拉框中选择已购买的弹性公网IP 公网端口:输入“9011” 实例类型:选择“自定义” 私网IP:输入获取Kafka实例的信息中记录的Kafka实例的一个内网连接地址 私网端口:输入“9011” 如果想要了解更多的参数信息,请参考添加DNAT规则。
16.5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]#
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 首次修改
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 获取实例配置成功。 错误码 请参见错误码。 父主题: 生命周期管理
Kafka可以删除消费组下不用的Topic吗? 在Kafka客户端取消订阅该Topic,即可达到在消费组下删除该Topic的效果。 父主题: 消费组问题
security_protocol:Kafka的安全协议。在Kafka实例控制台的基本信息页面中获取。很久前创建的Kafka实例在详情页如果未显示“启用的安全协议”,默认使用SASL_SSL协议。 安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
单击“确认”,完成证书的替换。 在“后台任务管理”页面,替换SSL证书任务的“状态”为“成功”时,表示替换证书成功。 证书替换成功后,在实例详情页单击“下载”,下载的证书为分布式消息服务Kafka版提供的证书,并非您自己制作的证书。 步骤三:修改客户端配置文件 替换证书后,需要在客户端的“consumer
如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的timestamp,则重置到最晚的timestamp。 message_offset、timestamp二者必选其一。 响应参数 无 请求示例 重置的消费进度到指定偏移量。 POST
经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。 412 Precondition