检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“用户管理”,进入用户列表页面,获取用户名。如果忘记了密码,单击“重置密码”,重新设置密码。 Topic名称 在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。
(可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时,当客户端重启时,偏移量重置后可能从最小位点开始重复消费所有消息。 消费者同时订阅多个Topic时,部分分区可能无法消费到消息。
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制
单击待开启SSL双向认证的实例名称,进入实例详情页面。 在“连接信息 > SSL双向认证”后,单击,开启SSL双向认证。 在弹出的“SSL双向认证”对话框中,参考表1,设置开启SSL双向认证的参数。 开启SSL双向认证将重启实例,请谨慎操作。 图2 开启SSL双向认证 表1 开启SSL双向认证参数说明 参数名称
当流控值达到上限后,会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时,可能会造成生产超时、消息丢失,导致部分消息生产失败。 初始生产/消费的流量较大,如果设置一个较小的流控值,会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值,待生产/消费稳定后继续减半设置,直到设置为目标流控值。
量为2到4的消息。 请注意以下几点: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。 如果需要删除多个分区的消息,单击“添加分区”,设置需要删除消息的分区和偏移量。每次最多可选择10个分区。
ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。
老化时间 如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错 未关闭域名校验 出现下图的错误信息: 解决方案:检查consumer
并发度越大。 该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。 取值范围:1~200 副本数 您可以为每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker故障时数据依然是可用的,副本数越大可靠性越高。 该参数设置为1时,表示只有一份数据。
enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“false”,在消费消息前,需要先创建消费组,否则会导致消费失败。 如果在配置参数中设置“auto.create.groups.enable”为“true
查询Kafka实例的协调器信息 功能介绍 查询Kafka实例的协调器信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/coordinators 表1 路径参数 参数 是否必选
输入带宽大小,默认值为“-1”,表示不限制带宽。 如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 * 待分区平衡Topic的最大副本数。 带宽限制值的估算方法,请参考带宽限制值估算方法。
Manager地址访问;如果没有开启公网访问,需要登录1的弹性云服务器,然后在浏览器输入Kafka Manager地址访问。 输入创建实例时设置的Kafka Manager用户名和密码,即可管理Kafka集群。 查看Kafka Manager 在进入Kafka Manager集群管
https://{endpoint}/v1/{project_id}/vpc-endpoint-services 请参考以下说明设置请求参数,其他参数根据实际情况设置。 port_id:输入6中获取的其中一个Port ID。 vpc_id:输入8中获取的VPC ID。 server_type:输入“VM”。
serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,us
首次开启密文接入时设置的用户名,或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时,需要设置。 首次开启密文接入时设置的密码,或者创建用户时设置的密码。 Smart Connect任务创建成功后,如果您修改了对端实例的认证方式、认