检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic,会导致节点间的数据不均衡。 生产者发送消息时指定了分区,未指定的分区没有消息,会导致分区间的数据不均衡。
Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时,当客户端重启时,偏移
行分区平衡前,根据Kafka实例规格对比当前实例负载情况,评估是否可以进行分区平衡,建议预留足够的带宽进行分区平衡,CPU使用率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。
关闭Kafka Manager Kafka Manager会占用额外的内存和CPU资源,关闭Kafka Manager可以减少这部分资源的占用。本章节指导您在控制台关闭Kafka Manager。 约束与限制 Kafka Manager关闭后,无法再次开启。 关闭Kafka Manager,不会重启实例。
15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下: 规格:kafka.2u4g.cluster*3 总存储空间:高I/O 300GB 用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka.4u8g.cluster*
单击“任务名”为“变更规格”的任务,弹出“变更规格任务详情”对话框。 在顶部区域,查看变更进度和预计剩余时间。在“任务执行步骤”中,查看执行步骤的名称和开始执行时间,以及结束时间。 查看变更是否成功。 变更规格任务的状态为“成功”时,表示变更成功。在实例列表页面的“规格”中查看扩容后的代理数量。
identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空。 ssl.keystore.location配置为client.keystore.jks证书的存放路径。 ssl.keystore.password配置为client.keystore
100MB/s的带宽怎样开启公网访问? Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka包周期实例支持删除吗? Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka支持磁盘加密吗? Ka
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
题(FullGC可能是客户端存在内存泄露)。 场景二:消费者消费时间间隔过长 排查思路: 检查单条消息的处理时间是多久,处理max.poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为,如写数据库、调用后端API等,在
影响云服务资源的正常运行,请及时充值。 欠费原因 购买了按需计费Kafka实例,并使用了一段时间后,账户的余额不足。 欠费影响 包年/包月 对于包年/包月Kafka实例,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月Kafka实例仍可正常使用。然而,对于
sg-53d4、Default_All。以下规则,远端可使用安全组,也可以使用具体的IP地址,本章节以安全组为例介绍。 客户端所在安全组需要增加如下规则,以保证客户端能正常访问Kafka实例。 表2 安全组规则 方向 策略 协议端口 目的地址 出方向 允许 全部 Default_All
truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
历史数据的场景)。 老规格实例(即实例规格为100MB/s等)的带宽指的是实例所有Broker对应的网络带宽总和 新规格实例(即实例规格为kafka.2u4g.cluster等)的流量规格测算模型说明如下: 测试模型读写比例为1:1 默认Topic的副本数为3 实例网络总流量 =
Kafka是否支持kerberos认证? Kafka连接问题排查和解决 客户端单IP连接的个数为多少? 连接Kafka Manager的操作 更多 消息 为什么Console页面上,消息查询查不到消息? Kafka生产消息的最大长度是多少? Kafka消息堆积了怎么办? 消息拉取失败的原因 更多 智能客服
在连接Kafka实例前,需要确保客户端与Kafka实例之间可以相互连接,如果无法连接,建议先检查网络连接是否正常。 已开启sasl_ssl访问的Kafka实例为例,执行如下命令: curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。
ssl_truststore_password:服务器证书密码,不可更改,需要保持为dms@kafka。 ssl_endpoint_identification_algorithm:证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空。 如果需要了解Kafka output
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
规格变更管理 实例扩容 查询实例的扩容规格列表 父主题: API V2(推荐)
续费概述 续费简介 包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用,需要在指定的时间内为Kafka实例续费,否则Kafka实例资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。