检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 id String 任务ID。 name String 任务名称。 user_name String 用户名。 user_id String 用户ID。 params String 任务参数。 status String 任务状态。 created_at String
排查思路:如果是Java语言客户端,建议排查GC日志是否存在长时间FullGC的情况。该场景可能会导致心跳线程阻塞,服务端检查心跳失败,进入Rebalance状态。 解决方法:如果存在长时间FullGC的情况,需要您排查客户端相关问题(FullGC可能是客户端存在内存泄露)。 场景二:消费者消费时间间隔过长
参数类型 描述 id String 任务ID。 name String 任务名称。 user_name String 用户名。 user_id String 用户ID。 params String 任务参数。 status String 任务状态。 created_at String
创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 父主题: 连接问题
批量重启、删除实例 当前页面API为历史版本API,未来可能停止维护。请使用批量重启或删除实例。 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 URI POST /v1.0/{pro
String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号“,” 分号“;” 竖线“|” 换行符“\n” NULL 默认值:换行符“\n”。 deliver_time_interval Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。
理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000
“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。 在Kafka客户端的“/bin”目录下,通过kafka-consumer-groups.sh --bootstrap-server ${connection-address}
Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。
期到期后仍未续费,资源状态变为“已冻结”。 超过宽限期仍未续费将进入保留期,如果保留期内仍未续费,资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在Kafka实例到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:
access_user String 否 当ssl_enable为true时,该参数必选, ssl_enable为false时,该参数无效。 认证用户名,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 password String 否 当ssl_enable为true时,该参数必选,
默认为postPaid。 is_auto_pay 否 Boolean 下单订购后,是否自动从客户的账户中支付,而不需要客户手动去进行支付。 取值范围: true:是(自动支付) false:否(需要客户手动支付) 默认为手动支付。 period_type 否 String 订购周期类型。
2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7 2023年2月 控制台支持客户端、Topic级别生产消费流量控制 1.1.0和2.7 2022年12月 实例支持SCRAM-SHA-512鉴权认证 1.1.0和2.7 2022年11月
300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格 单个代理客户端总连接数上限 kafka.2u4g.cluster.small 2000 kafka.2u4g.single.small 2000 kafka
String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号“,” 分号“;” 竖线“|” 换行符“\n” NULL 默认值:换行符“\n”。 deliver_time_interval 是 Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间
对端Kafka开启SASL_SSL时设置的用户名,或者创建SASL_SSL用户时设置的用户名。(仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写) password 否 String 对端Kafka开启SASL_SSL时设置的密码,或者创建SASL_SSL用户时设置的密码。(
Integer 消息结束位点 consumer_id String 消费者Id host String host名称 client_id String 客户端Id 请求示例 查询消费组消息位点 GET https://{endpoint}/v2/{engine}/{project_id}/in
表4 GroupMemberEntity 参数 参数类型 描述 member_id String 成员Id client_id String 客户端Id 请求示例 GET https://{endpoint}/v2/{engine}/{project_id}/instances/{i
retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 sync_message_flush Boolean 是否使用同步落盘。同步落盘会导致性能降低。
副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。 默认关闭。 retention_time Integer 否 消息老化时间。默认值为72。