检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
None 服务介绍 分布式消息服务Kafka版 介绍什么是分布式消息服务 04:19 分布式消息服务介绍 分布式消息服务Kafka版 Kafka-数据流转的桥梁 02:03 Kafka-数据流转的桥梁 特性讲解 分布式消息服务Kafka版 介绍消息积压诊断功能 03:18 消息积压诊断
API概览 表1 实例管理类接口 API 说明 生命周期管理 包括创建实例、查询所有实例列表、查询指定实例、删除指定的实例、修改实例信息、批量重启或删除实例、获取实例配置、修改实例配置、实例升级。 实例管理 包括重置密码、重置Manager密码、重启Manager、开启或关闭实例
进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。 操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 约束与限制 由于安全问题,2021年3月20日前以及当天创建的实例,支持的
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
与RabbitMQ、RocketMQ的差异 表1 功能差异 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 3.8.35版本:支持。建议优先级大小设置在0-10之间。 AMQP-0-9-1版本:支持。优先级大小设置在1-9之间。 延迟队列 支持
消息问题 Kafka生产消息的最大长度是多少? 为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数?
连接问题 选择和配置安全组 Kafka实例是否支持公网访问? Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问?
实例问题 为什么可用区不能选择2个? 创建实例时为什么无法查看子网和安全组等信息? 如何选择Kafka实例的存储空间? Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么?
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
测试实例性能 测试Kafka生产速率和CPU消耗 测试Kafka实例TPS
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
历史API API V1 API V2