检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,在文件中增加如下内容。 security.protocol=SASL_SSL
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
ort_protocols参数。 PLAINTEXT: 既未采用SSL证书进行加密传输,也不支持账号密码认证。性能更好,安全性较低,建议在生产环境下公网访问不使用此方式。 SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT:
对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。 老规格实例(即实例规格为100MB/s等)的带宽指的是实例所有Broker对应的网络带宽总和 新规格实例(即实例规格为kafka
参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议
ort_protocols参数。 PLAINTEXT: 既未采用SSL证书进行加密传输,也不支持账号密码认证。性能更好,安全性较低,建议在生产环境下公网访问不使用此方式。 SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT:
消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 代理故障场景 实例中部分代理故障时,无法创建、修改和删除消费组,以及重置消费进度,只能查询消费组。 消息 表4 消息约束与限制 限制项 约束与限制 消息大小 生产消息的最大长度为10MB,超过10MB会导致生产失败。 用户
broker_ssl_enable Boolean 是否开启broker间副本加密传输。 true:开启 false:未开启 kafka_security_protocol String 开启SASL后使用的安全协议。 SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT:
费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有消费者同步完最新的元数据后,服务
PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务
较小的批量处理数值比较少用,并且可能降低吞吐量(0则会仅用批量处理)。较大的批量处理数值将会浪费更多内存空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大
Boolean 是否开启SASL加密访问。 true:开启SASL加密访问。 false:关闭SASL加密访问。 kafka_security_protocol 否 String 开启SASL后使用的安全协议。 SASL_SSL: 使用SSL证书加密传输,支持账号密码认证,安全性更高。
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
ssl_enable Boolean 否 是否打开SSL加密访问。 true:打开SSL加密访问。 false:不打开SSL加密访问。 retention_policy String 否 磁盘的容量到达容量阈值后,对于消息的处理策略。取值如下: time_base:自动删除 produce_reject:生产受限
数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数据容量”查看,具体步骤请参考查看Kafka监控数据。在不影响业务的前提下,建议适当调小Topic老化时间并等待消息老化,减少迁移数据,加快迁移速度。分区平衡任务结束后可重新调整为初始值。 前提条件 确保分区平衡的目标Bro
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动? 为什么JVM堆内存使用率出现明显波动? 生产消息数不为0,为什么生产速率为0?
destination_file_type 是 String 转储文件格式。当前只支持text。 access_key 是 String 访问密钥AK。 secret_key 是 String 访问密钥SK。 obs_bucket_name 是 String 存储该通道数据的OBS桶名称。 obs_path 否
在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处理,避免下游订阅系统因
通过以下任意一种方法,导出用户列表。 勾选待导出的用户,单击“导出 > 导出已选中数据到XLSX”,导出指定用户列表。 单击“导出 > 导出全部数据到XLSX”,导出全部用户列表。 请注意:初始用户无法被选中,如果要导出初始用户,请使用“导出全部数据到XLSX”。 父主题: 配置Kafka访问控制
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大