检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
49”，“2017”表示最外层文件夹。 说明： 数据转储成功后，存储的目录结构为“obs_bucket_path/file_prefix/partition_format”。默认时间是GMT+8 时间 record_delimiter 否 String 转储文件的记录分隔符，用于分隔写入转储文件的用户数据。
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云服务器。 在实例详情信息页面，获取Kafka Manager地址。
"host" : "172.31.1.15", "port" : 9092 } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
kafka; import java.io.IOException; import java.util.Arrays; import java.util.Collection; import java.util.Iterator; import java.util.Properties;
的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果
Kafka实例支持配置Topic副本数量，配置多副本后Kafka实例会主动建立和维护同步复制，在实例某个broker故障的情况下，实例会自动将该节点上分区leader切换到其它可用的broker上，从而达到高可用的目的。 建议使用多个可用区构建数据容灾能力。 Kafka集群实例支持跨可用区部署，支持跨可用区容灾
确认消费就会被标记删除。 AMQP-0-9-1版本：支持。 消息堆积 支持 支持。考虑吞吐因素，Kafka的堆积效率比RabbitMQ总体上要高。 支持 持久化 支持 支持 支持 消息追踪 支持 不支持 3.8.35版本：不支持。 AMQP-0-9-1版本：支持。 消息过滤 支持
ebalance动作完成才可以进行消费。 该现象与问题现象描述的偶现长时间时延行为相吻合，问题确定。 详细分析 查看用户消费组行为日志文件，文件中存在以下三种日志： Preparing to rebalance group 1 表示消费组开始进行rebalance，消费组状态变更为REABLANCING。
ASL认证的“consumer.properties”配置文件参数： --command-config {SASL认证的consumer.properties配置文件}，“consumer.properties”配置文件参考使用客户端连接Kafka（开启SASL）。 父主题： 消息问题
开启公网访问后，在哪查看公网IP地址？ Kafka支持服务端认证客户端吗？ 连接开启SASL_SSL的Kafka实例时，ssl truststore文件可以用PEM格式的吗？ 下载的证书JKS和CRT有什么区别？ Kafka支持哪个版本的TLS？ Kafka实例连接数有限制吗？ 客户端单IP连接的个数为多少？
Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中，实现日志的持久化存储。 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。
转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。（仅目标端类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示）
取。 消息生产与消费的幂等传递 分布式消息服务Kafka版设计了一系列可靠性保障措施，确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确
响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 修改Topic参数，topic-1284340884的老化时间修改为72小时，分区数修改为6，新增分区分布在broker-1和broker-2上，不同步复制，不同步落盘，消息时间类型为LogAp
d}/sink-tasks { "sink_max_tasks" : 9 } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 修改转储任务的配额。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
为消费者不活跃而将其踢出消费组，然后开始新一轮的Rebalance。 解决方法/排查思路 场景一：未能及时发送心跳请求 排查思路：如果是Java语言客户端，建议排查GC日志是否存在长时间FullGC的情况。该场景可能会导致心跳线程阻塞，服务端检查心跳失败，进入Rebalance状态。
客户端连接Kafka实例前，需要在Kafka实例所属安全组中配置如下安全组规则，否则会连接失败。 创建安全组后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。 表2 安全组规则 方向
查询topic的磁盘存储情况 功能介绍 查询topic在Broker上磁盘占用情况。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/topics/diskusage 表1 路径参数 参数 是否必选
转储启动偏移量，latest为获取最新的数据，earliest为获取最早的数据。（仅目标端类型为OBS时会显示） destination_file_type String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时会显示） deliver_time_interval Integer 记数据转储周期（秒）。（仅目标端类型为OBS时会显示）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
