检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka提供基于云监控服务CES的资源和操作监控能力，帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标，以及如何创建监控告警规则等内容，请参见支持的监控指标。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
的93%~95%。 图1 综合推荐 规格测算：系统根据您选择的版本号和输入的参数（生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量），为您计算出不同规格所需的代理个数和代理存储空间，您根据实际情况选择。 图2 规格测算 设置网络信息。 表3 实例网络参数说明
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppen
消息积压诊断”，进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称，单击“诊断前检查”。 检查成功后，在页面上方显示“预检查成功”，并显示内存使用率、CPU利用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 图2 诊断前检查 “消息积压情况”显示无消息积压时，无法进行消
提供简单的实例管理RESTful API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。
间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施：
时间的中断。 在云上变更业务部署。 单AZ部署的Kafka实例，不具备AZ之间的容灾能力。用户对可靠性要求提升后，需要迁移到多AZ部署的实例上。 约束与限制 使用Smart Connect迁移业务，会对源端Kafka进行消费，对目标端Kafka进行生产，会占用源端和目标端Kafka的带宽。
结论：在Topic相同的情况下，生产消息到规格相同、接入方式不同的Kafka实例，未开启SASL的实例TPS高于开启SASL的实例TPS。 测试场景二（同步/异步复制）：相同的实例（超高I/O、3个代理、未开启SASL），不同复制机制的Topic，生产者进程数为3时，测试结果如下： 表4 测试结果 实例规格 是否同步落盘
内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下： 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
后的手段，即使这样做可能导致数据丢失。 true/false false connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 单位：毫秒 600000 log.retention.hours 日志文件最大保存时间。
介绍怎样连接开启SASL_SSL的Kafka实例 06:16 连接开启SASL_SSL的Kafka实例 分布式消息服务Kafka版 介绍怎样扩容Kafka实例 04:46 变更实例规格 分布式消息服务Kafka版 介绍怎样删除消费组 03:08 删除消费组 分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时，发送告警短信/邮件
on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间，具体操作请参考变更Kafka实例规格。
修改Topic老化时间 修改Topic分区数 变更实例规格 Kafka实例创建成功后，您可以根据业务需要，扩容基准带宽、代理个数、存储空间、代理规格，或者缩容代理规格。 扩容存储空间有次数限制，只能扩容20次。 支持区域： 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafk
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围（GB） 单个代理流量规格（MB/s） kafka.2u4g
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
