检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
实例规格。 storage_space Integer 消息存储空间，单位：GB。 partition_num String Kafka实例的最大topic数。 used_storage_space Integer 已使用的消息存储空间，单位：GB。 connect_address String
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围（GB） 单个代理流量规格（MB/s） kafka.2u4g.cluster.small 3~30 20000 100 15 2000
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置 创建用户/客户端流控配置
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。
审计与日志 云审计服务（Cloud Trace Service，简称CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录DMS
Kafka Manager能否查询到消息的正文？ Kafka Manager无法查询到消息的正文。 父主题： Kafka Manager问题
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
message_offset Long 二者必选其一 重置的消费进度到指定偏移量，如果传入offset小于当前最小的offset，则重置到最小的offset，如果大于最大的offset，则重置到最大的offset。 timestamp Long 重置的消费进度到指定时间，格式为unix时间戳。如果传入ti
Kafka实例的实例费用和存储空间费用会分别上报一条账单到计费系统进行结算。查看指定资源的账单时，需要分别查看实例账单和存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键，复制实例的资源ID。 图1 获取资源ID（实例） 单击实例名称，进入实例详情页，查看存储空间的资源ID。
回收站策略默认是关闭状态。 约束与限制 回收站中的按需实例不会收取实例的费用，但是会收取存储空间的费用。 包年/包月的实例退订后会存入回收站中，此时不会收取实例的费用，但是会按需收取存储空间的费用。 包年/包月的实例从回收站中恢复后，计费模式会变为按需计费。 处于宽限期和保留期
根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间 * 代理数量，Kafka实例创建后，磁盘类型不支持修改。 磁盘类型选择“超高I/O”，磁盘大小设置为“100GB”。 图3 设置实例规格和存储空间 设置实例网络环境信息，如图4所示，配置详情请参考表4。
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
60000 ms的错误，如下图所示。 问题解决措施 以下三种措施都可以解决此问题，请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本，并设置“socket.connection.setup.timeout.ms”大于1s，且小于“request.timeout
审计是否存在异常数据访问 开启云审计服务，记录Kafka的所有访问操作，便于事后审查。 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源
100GB~10000GB 100 Kafka单机实例的存储空间估算参考 Kafka实例支持多副本存储，存储空间用于存储消息（包括副本中的消息）、日志和元数据。您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间，用于存储日志和元数据。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
