检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时
下划线开头,且只能英文字母、 数字、句点、中划线、下划线组成,长度3~64个字符。 消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 描述 消费组的描述信息,长度0~200个字符。 在消费组列表页面,查看新创建的消费组。 父主题: 管理消费组
资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么Kafka实例将被释放,数据无法恢复。释放的实例会被彻底删除,不会进入回收站。 图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
direction 否 String 同步方向;pull为把对端Kafka实例数据复制到当前Kafka实例中,push为把当前Kafka实例数据复制到对端Kafka实例中,two-way为对两端Kafka实例数据进行双向复制。(仅源端类型为Kafka时需要填写) sync_consumer_offsets_enabled
仅在“消费组状态”为“EMPTY”时,支持删除。 消费组包含以下状态: DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。
正常运行。如果您想继续使用Kafka实例,需要在规定的时间内为Kafka实例进行续费,否则Kafka实例、磁盘存储空间等资源将会自动释放,数据也可能会丢失。续费包括手动续费和自动续费两种方式,您可以根据需求选择。了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在“费用中心
2019-12-10 新增以下接口: 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区
示) target_db Integer 目标数据库,默认为-1。(仅目标端类型为Redis时会显示) consumer_strategy String 转储启动偏移量,latest为获取最新的数据,earliest为获取最早的数据。(仅目标端类型为OBS时会显示) destination_file_type
参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议
unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段,即使这样做可能导致数据丢失。 true/false false connections.max.idle.ms 此参数用来指定在多少毫秒之后,关闭空闲的连接。 5000
电商促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。 适用计费项 分布式消息服务Kafka版对您选择的Kafka实例和Kafk
String 消费组ID。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
示) target_db Integer 目标数据库,默认为-1。(仅目标端类型为Redis时会显示) consumer_strategy String 转储启动偏移量,latest为获取最新的数据,earliest为获取最早的数据。(仅目标端类型为OBS时会显示) destination_file_type
消息消费平均处理时长,服务端处理消息消费请求平均时长 kafka_topics(kafka topic维度) topic_data_size 队列数据容量,当前队列的数据容量 topic_messages_in_rate 消息生产速率,每秒钟生产的消息数量 topic_bytes_out_rate
String 消费组名称。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
触发Rebalance的操作,取值如下: JOIN_GROUP:新消费者加入消费组。 OVER_CAPACITY:超过组限制。 UPDATE_MEMBER: 消费者更新元数据。 PROTOCOL_CHANGE:协议变化。 HEARTBEAT_EXPIRED:消费者心跳超时。 SYNC_GROUP:同步分配计划。
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
serializer=org.apache.kafka.common.serialization.StringSerializer #producer可以用来缓存数据的内存大小 buffer.memory=33554432 #重试次数 retries=0 #######################
消息大小。 timestamp Long 生产消息的时间。 格式为Unix时间戳。单位为毫秒。 huge_message Boolean 大数据标识。 message_offset Long 消息偏移量。 message_id String 消息ID。 app_id String 应用ID。