检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
100MB/s带宽的实例存在两种不同规格的底层资源,一种支持开启公网访问,另一种不支持,具体以控制台为准。 100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公网访问。
输入Topic需要自动平衡的副本数,副本数须小于等于Broker的数量。 带宽限制 输入带宽大小,默认值为“-1”,表示不限制带宽。 如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 *
ConsumerRecords<Object, Object> records = consumer.poll(1000); System.out.println("the numbers of topic:" + records.count());
输入Topic的副本数,副本数须小于等于Broker的数量。 带宽限制 输入带宽大小,默认值为“-1”,表示不限制带宽。 如果实例负载较低(例如实例规格为300MB/s,当前实例负载为30MB/s),建议不设置带宽限制。如果需要设置带宽限制,建议该参数值不小于待分区平衡Topic的总生产带宽 *
机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘等资源的利用率。 监控闲置的资源,避免浪费。例如:未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有
Topic和分区问题 Kafka实例的Topic数量是否有限制? 为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? Kafka实例是否支持查看单个Topic占用磁盘空间?
如何连接和查看Kafka Manager? 通过公网如何连接Kafka实例? 为什么云监控页面无法展示Kafka监控数据? 为什么限制Topic的总分区数? Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办? Kafka实例的ZK地址是什么?能否直接连接? 为什么Console页面上,消息查询查不到消息?
truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
实例支持SCRAM-SHA-512鉴权认证 1.1.0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制 实例支持配置磁盘容量阈值策略 父主题: 版本公告
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制 重启Kafka Manager不会影响业务。 重启Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于
如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下: 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 约束与限制 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
创建一个包年/包月Kafka实例后,您可以将该Kafka实例的计费模式转为按需计费,回收部分成本,同时更加灵活地按需使用Kafka实例。 约束与限制 包年/包月转按需,需包年/包月资费模式到期后,按需的资费模式才会生效。 前提条件 Kafka实例计费模式为“包年/包月”。 Kafka实例状态为“运行中”。
化时间为60小时,“配置参数”中的log.retention.hours值为72小时,此时Topic01实际的老化时间为60小时。 约束与限制 单机实例只支持在“Topic管理”中,修改老化时间。 修改Kafka消息老化时间 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
records on each page for pagination query exceeds the upper limit. 分页查找的分页大小超出范围。 请检查分页大小 400 DMS.10240043 The number of skipped records for
CreateTime CreateTime CreateTime 批处理消息最大值 10485760字节 10485760字节 10485760字节 约束与限制 开启/关闭“Kafka自动创建Topic”可能会导致实例重启,具体以控制台显示为准。 配置Kafka自动创建Topic 登录管理控制台。