检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数
的产品规格、控制台操作、客户端对接等。 如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节,请查阅Kafka官网资料。 介绍视频
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer 分区编号。 请求参数 无 响应参数 状态码:200 表2 响应Body参数
分布式消息服务Kafka版控制台提供两种分区平衡的方法:自动平衡和手动平衡,建议选择自动平衡,确保分区Leader的均匀分布。 操作视频 本视频演示修改Kafka实例分区平衡的操作。 约束与限制 单机实例不支持修改分区平衡。 分区平衡任务启动后,无法修改Topic的分区数。 分
Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,这样主业务流
进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。 操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 约束与限制 由于安全问题,2021年3月20日前以及当天创建的实例,支持的
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置消
不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上,
批处理消息最大值 Kafka允许的最大批处理大小,如果启用消息压缩,则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 修改Topic配置
Topic名称。 partition Integer 分区编号。 message_offset Long 消息位置。 size Integer 消息大小,单位字节。 timestamp Long 消息时间戳。 响应示例 { "message": {
consumer需周期poll,维持和server的心跳,避免心跳超时,导致consumer频繁加入和退出,阻塞消费。 consumer拉取的消息本地缓存应有大小限制,避免OOM(Out of Memory)。 consumer session设置为30秒,session.timeout.ms=30000。
topic名称。 partition Integer 分区编号。 message_offset Long 消息编号。 size Integer 消息大小,单位字节。 timestamp Long 消息时间戳。 响应示例 { "messages": [ {
您还可以根据需要修改公网带宽的大小,当前仅支持带宽扩容,不支持缩容。 部分区域不支持“基准带宽”为“100MB/s”的Kafka实例开启公网访问,具体以控制台为准。 支持区域: 全部 设置实例公网访问 消息查询 您可以查看指定Topic的消息大小、创建时间以及消息正文。 支持区域:
响应参数 参数说明见表2。 表2 参数说明 参数 类型 说明 total Integer topic总数。 size Integer 分页查询的大小。 remain_partitions Integer 剩余分区数。 max_partitions Integer 分区总数。 topics
修改为6,新增分区分布在broker-1和broker-2上,不同步复制,不同步落盘,消息时间类型为LogAppendTime,最大批处理大小10485760。 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/topics
请求参数 参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 id String 是 topic名称,长度为4-64,以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。
是否必选 参数类型 描述 minSize 否 String 占用磁盘大小,默认值1G (1K,1M,1G)。 top 否 String 占用磁盘大小,查询top N。 percentage 否 String 占用磁盘大小,查询大于占比的分区。 请求参数 无 响应参数 状态码:200 表3
理)。较大的批量处理数值将会浪费更多内存空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度,producer会阻塞或者抛出异常,以“block
instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition 是 Integer 分区编号。 表2 Query参数 参数 是否必选 参数类型 描述