检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。 例如:业务消息体积预估100GB,副本数为2,Kafka实例的代理数为1,则磁盘容量最少应为100GB*2+33GB*1=233GB。
管理实例 查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 自动平衡 登录管理控制台。
Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗?
查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置
解决方法:检查客户端消息的createTime设置是否正确。 可能原因3:磁盘容量超过95%,且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量充足。当磁盘容量超过95%时,未到达老化时间的消息也会被删除,所以可能会导致部分消息查询不到。
broker_disk_read_await 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。 单位:ms 2020年6月及以后购买的实例,支持此监控项。 >0 Kafka实例节点 1分钟 broker_disk_write_await 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。
Kafka支持哪些加密套件? 购买实例时选择的单AZ,怎样可以扩展为多AZ? Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka支持磁盘加密吗? Kafka实例创建后,能修改VPC和子网吗? 有没有Kafka Stream的案例? Kafka实例版本可以升级吗? 怎样重新绑定公网IP?
元数据。 创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 磁盘类型支持高I/O、超高I/O、极速型SSD和通用型SSD,更多磁盘信息请参考如何选择磁盘类型。 图1 综合推荐 规格测算:系统根据您选择的版本号和输入的参数(生产流量峰值、消费流量、
l或者-1,否则无效。 当副本数为1时,不能选择同步复制功能。 同步落盘 表示生产的每条消息都会立即写入磁盘,可靠性更高。关闭同步落盘后,生产的消息存在内存中,不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 L
维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。
同步复制 后端收到生产消息请求并复制给所有副本后,才返回客户端。 同步落盘 开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 Log
0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制 实例支持配置磁盘容量阈值策略 父主题: 版本公告
1所示。 图1 配置费用示例 配置费用将包括以下部分: 实例费用:根据所选配置(包括代理规格和代理数量)计算的费用。 存储空间费用:磁盘类型和总磁盘存储空间(单个代理的存储空间*代理数量)的费用。 计费周期 包年/包月Kafka实例的计费周期是根据您购买的时长来确定的(以UTC+
放在回收站中。在回收站页面,单击Kafka实例名称,进入实例详情页,确认2中复制的资源ID是否为磁盘存储ID,如果是,此资源即为计费资源。如果不是,查看回收站中其他Kafka实例的磁盘存储ID,直到找到计费资源为止。 图2 查找资源 单击操作列的“更多 > 删除”,对Kafka实
前提条件 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数
Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic Boolean 是否打开Kafka自动创建Topic功能。
代理数量 1个代理。 3个及以上代理。 接入方式 支持明文接入。 支持明文接入和密文接入。 变更实例规格 × √ 重置Kafka密码 × √ 查看磁盘使用量 × √ 修改分区平衡 × √ 设置Topic权限 × √ 用户管理 × √ 查看重平衡日志 × √ Smart Connect ×
Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic Boolean 是否打开kafka自动创建topic功能。