检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间的费用。如果想要停止计费,请在回收站中删除实例。 通过账单查找云服务资源并停止计费 为了确保所有计费资源都能够被找到并删除,您可以在费用账单中获取计费资源的ID,通过这些ID信息找到具体的资源,然后将其一一删除。具体操作如下:
SL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明
262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录,以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。 较小的批量处
Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。
问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。
取Kafka实例的网卡地址(listeners IP)和对应的Port ID。 图2 Kafka实例的网卡地址(listeners IP)和对应的Port ID 在“基本信息”页面的“网络”区域,查看Kafka实例所在的VPC名称。 图3 查看Kafka实例所在的VPC名称 单击
须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度。 0 ~ 10485760 单位:字节 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者
egment文件用来存储消息,如果正在使用的segment文件中包含超过老化时间的消息,由于此时segment文件不会被删除,所以超过老化时间的消息也不会被删除。 处理方法:等待segment文件被使用完,或者删除超过老化时间的消息所在的Topic。 可能原因2:Topic中存在一条create
支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别,通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于C
Partitions:进行分区副本的重分配(不建议用户操作)。 Consumers:统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页 单击功能导航栏中的Brokers,即可进入代理统计页。如图4所示。 图中①区域代理列表,包含总的字节流入和字节流出。
2023/05/08 23:59:59 图2给出了上述示例配置的费用计算过程。图中价格仅供参考,实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包月Kafka实例费用计算示例(华北-北京四区域) 按需计费模式下,各计费项的计费示例请参见计费示例。
在“节点”页签,查看服务端节点的CPU使用率。 图7 broker-0的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=58.10% 图8 broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中)
单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多 > 到期转按需”。 图1 单个资源转按需 批量资源到期转按需:选择需要更改计费模式的Kafka实例,单击列表左上角的“到期转按需”。 图2 多个资源转按需 查看资费变更的相关信息后,单击“到期转按需”。 图3 到期转按需 父主题:
一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图3 开启的SASL认证机制 Kafka安全协议在Kafka实例控制台的基本信息页面中获取。很久前创建的Kafka实例在详情页如果未显示“启用的安全协议”,默认使用SASL_SSL协议。
华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下
如果一个实例中消费组数量超过10000,则不支持查询Topic的订阅关系。 图1 订阅关系 分区信息:包含分区编号、最小偏移量、最早更新时间、最大偏移量、最近更新时间和消息数。 当分区中的消息都已老化,或尚未生产消息时,“最早更新时间”和“最近更新时间”显示“--”,如下图所示。 图2 分区信息 生产者信息:包含
状态下消费组中的所有消费者都无法进行正常的业务消费,该场景触发场景为消费组内有新的消费者加入或有已经建立连接的消费者退出。 STABILIZED:rebalance完成,消费组处于稳定状态,该状态下消费组中的消费者可以进行正常的业务消费,触发条件是,当前消费组内的所有消费者都同步
名称:您自定义的公网NAT网关名称。 虚拟私有云:选择获取Kafka实例的信息中记录的虚拟私有云。 子网:选择获取Kafka实例的信息中记录的子网。 企业项目:根据实际情况选择。 其他参数请根据实际情况填写,如果想要了解更多的参数信息,请参考购买公网NAT网关。 图2 购买公网NAT网关