检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生产失败。 数据量大的Topic进行分区平衡的时间会比较长,建议根据Topic的消费情况,适当调小Topic老化时间,使得Topic的部分历史数据被及时清理,加快迁移速度。Topic的数据量可以通过监控页面的“队列数据容量”查看,具体步骤请参考查看Kafka监控数据。 分区平衡前的准备工作
PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务
网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符
Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。 例如:业务消息体积预估100GB,副本数为2
控,单击“导出 > 导出已选中数据到XLSX”。 全部用户/客户端流控:在“User/Client”页签,单击“导出 > 导出全部数据到XLSX”。 指定Topic流控:在“Topic”页签,勾选待导出的Topic流控,单击“导出 > 导出已选中数据到XLSX”。 全部Topic流控:在“Topic”页签,单击“导出
消息消费平均处理时长,服务端处理消息消费请求平均时长 kafka_topics(kafka topic维度) topic_data_size 队列数据容量,当前队列的数据容量 topic_messages_in_rate 消息生产速率,每秒钟生产的消息数量 topic_bytes_out_rate
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
policiesOnly Boolean 是否为默认策略。 id String Topic名称 replication Integer 副本数,配置数据的可靠性 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。
Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加
仅在“消费组状态”为“EMPTY”时,支持删除。 消费组包含以下状态: DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。
正常运行。如果您想继续使用Kafka实例,需要在规定的时间内为Kafka实例进行续费,否则Kafka实例、磁盘存储空间等资源将会自动释放,数据也可能会丢失。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在“费用中心
时。 批量导入/导出Topic 支持批量导出,不支持批量导入。 Topic名称 Topic名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 是否支持延迟队列 不支持 代理故障场景 实例中部分代理故障时,无法创建、修改和删除Topic,只能查询Topic。 消费组 表3
unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段,即使这样做可能导致数据丢失。 true/false false connections.max.idle.ms 此参数用来指定在多少毫秒之后,关闭空闲的连接。 5000
参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议
告警级别 选择“重要”。 通知类型 选择“触发”,即触发告警时发送通知。 接收对象 选择“主题订阅”,单击“创建主题”,进入消息通知服务中,创建主题和添加订阅。创建完成后,返回“创建告警规则”页面,在“通知对象”后单击,然后选择创建的告警通知主题。 说明: 在添加订阅后,对应的订阅终
文档(https://kafka.apache.org/documentation/#topicconfigs)。 图中⑤区域表示队列监控数据统计。 图中⑥区域表示队列分区信息,包括分区消息数(Latest Offset),分区leader(Leader),副本列表(Replicas),同步副本列表(In
务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/management/g