检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
然存在 Kafka实例是否支持查看单个Topic占用磁盘空间？ Topic是否支持ACL权限配置？ 消息被消费后，没有删除，导致Kafka存储空间占满？ 如何扩总分区？ 修改自动创建Topic的配置，会触发重启吗？ 消费者消费Topic失败，提示没有权限？
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间 * 代理数量，Kafka实例创建后，磁盘类型不支持修改。 磁盘类型选择“超高I/O”，磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息，如图4所示，配置详情请参考表4。
版本发布说明 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7
在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 单击Kafka实例的名称，进入实例的“基本信息”页面。 在“磁盘存储统计”页面，查看磁盘的使用量。 页面支
分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 通过以下任意一种方法，导出实例列表。 勾选待导出的实例，单击“导出 > 导出已选中数据到XLSX”，导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”，导出全部实例列表。
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka（关闭SASL） 使用客户端连接Kafka（开启SASL） 使用控制台连接Kafka
安全协议设置为“SASL_SSL”时，采用SASL方式进行认证，数据通过SSL证书进行加密传输，安全性更高。此时需要配置连接实例的用户名和密码，以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时，采用SASL方式进行认证，数据通过明文传输，性能更好。此时需要配置连接实例的用户名和密码，无需配置证书文件。
开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置
2019-12-10 新增以下接口： 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区
删除Topic失败 问题现象 删除Topic不生效，删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能，且有消费者正在连接该Topic。如果没有停止业务，删除Topic后，还会有消息生产行为，并自动创建Topic。 问题解决措施 关闭Kafka自动创建Top
配置流控 配置Kafka流控 查看Kafka流控统计
状态码 状态码如表1所示 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如，切换到HTTP的新版本协议。
10以上的客户端版本，推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间 集群实例只支持扩大存储空间，不支持减小存储空间。 扩容存储空间有次数限制，最多扩容20次。 单机实例不支持修改存储空间。 基准带宽/代理数量 集群实例只支持增加基准带宽/代理数量，不支持减小基准带宽/代理数量。
全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。
data 待同步Kafka数据量 Kafka任务的待同步数据量。 单位：Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。 单位：Count ≥ 0
版本支持公告 版本号说明 分布式消息服务Kafka版的版本号格式为：消息引擎类型 x.y.z，其中消息引擎类型为Kafka，版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本：1.1.0、2.7、3.x（推荐） 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。
以内时推荐选用。 Kafka实例的存储空间估算参考 Kafka实例支持多副本存储，存储空间用于存储消息（包括副本中的消息）、日志和元数据。您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间，用于存储日志和元数据。
单击左侧导航栏的图标，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 复制资源ID。 Kafka实例的实例费用和存储空间费用会分别上报一条账单到计费系统进行结算。查看指定资源的账单时，需要分别查看实例账单和存储空间账单。 在Kafka实例列表页
SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书，也可以使用自己制作的证书。如果使用自己制作的证书，请参考本章节将分布式消息服务Kafka版提供的证书替换为自己的证书。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
