检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression
取值范围1~720，单位小时。 sync_message_flush Boolean 否 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 请求示例 POST https://{dms_endpoint}/v1.0/{project_id}/instances/{instance_id}/topics
服务端创建生产者状态对象，若频繁创建producer，会导致服务端创建大量生产者状态对象后无法及时回收，服务端内存占用飙升，进而导致服务端性能急剧下降。如果不需要使用幂等功能，请将“enable.idempotence”设置为“false”。 Topic使用建议 配置要求：推荐3
图。图中时间为UTC+0时间，对应北京时间需要加8小时。 图1 消费组rebalance图 从以上图中可以看出，消费组rebalance的性能在7月1号06:49（即北京时间7月1号14:49）以后存在明显劣化的情况，导致客户端异常。 根因描述 用户业务中偶尔会存在某一个消费者无
分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了
定时执行：表示在指定的时间执行分区平衡任务。 （可选）单击“一键测算”，在“预估耗时”中，显示执行自动平衡大概需要的时间。 一键测算功能对Kafka实例性能没有影响。 单击“确定”。 定时任务和非定时任务查看分区平衡是否完成的方法不同，具体如下： 表2 查看分区平衡结果 任务类型 分区平衡结果
配置连接实例的用户名和密码，以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时，采用SASL方式进行认证，数据通过明文传输，性能更好。此时需要配置连接实例的用户名和密码，无需配置证书文件。 非SASL认证方式 from kafka import KafkaProducer
配置连接实例的用户名和密码，以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时，采用SASL方式进行认证，数据通过明文传输，性能更好。此时需要配置连接实例的用户名和密码，无需配置证书文件。 sasl.mechanism：SASL认证机制。在Kafka实例控制台的基本
使用Smart Connect迁移业务，会对源端Kafka进行消费，对目标端Kafka进行生产，会占用源端和目标端Kafka的带宽。 出于性能考虑，Smart Connect实时同步源端和目标端的数据，但是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。
定时执行：表示在指定的时间执行分区平衡任务。 图1 设置自动平衡参数 （可选）单击“一键测算”，在“预估耗时”中，显示执行自动平衡大概需要的时间。 一键测算功能对Kafka实例性能没有影响。 单击“确定”。 定时任务和非定时任务查看分区平衡是否完成的方法不同，具体如下： 表2 查看分区平衡结果 任务类型 分区平衡结果
262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。
采用SASL方式进行认证，数据通过SSL证书进行加密传输，安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证，数据通过明文传输，性能更好。 由于明文传输，建议使用SCRAM-SHA-512机制。 跨VPC访问协议 - 开启明文接入且关闭密文接入时，跨VPC访问Kafka
Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源 日志采集客户端将数据发送到Kafka实例中，Logstash根据自身性能从Kafka实例中拉取数据。Kafka实例作为Logstash输入源时，可以防止突发流量对于Logstash的影响，以及解耦日志采集客户端和Logstash，保证系统的稳定性。
=-1，否则不生效，默认关闭。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 external_configs Object 扩展配置。 topic_type Integer topic类型(0:普通Topic
采用SASL方式进行认证，数据通过SSL证书进行加密传输，安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证，数据通过明文传输，性能更好。 由于明文传输，建议使用SCRAM-SHA-512机制。 SSL用户名 - 客户端用于连接Kafka实例的用户名。 用户名需要符合以
SASL_SSL: 采用SSL证书进行加密传输，支持账号密码认证，安全性更高。 SASL_PLAINTEXT: 明文传输，支持账号密码认证，性能更好，建议使用SCRAM-SHA-512机制。 sasl_enabled_mechanisms Array of strings 开启SASL后使用的认证机制。
副本数，配置数据的可靠性。 取值范围：1-3。 sync_message_flush 否 Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 partition 否 Integer topic分区数，设置消费的并发数。取值范围：1-200。 sync_replication
包含3个分区和3个副本的Topic。 storage_spec_code String 是 存储IO规格。如何选择磁盘类型请参考磁盘类型及性能介绍。 取值范围： 参数specification为100MB时，取值dms.physical.storage.high或者dms.physical
设置实例规格和存储空间 参数 说明 套餐规格 选择“综合推荐”中的“入门版”。入门版面向入门级用户，提供兼容开源协议的托管Kafka服务，适用于性能诉求不高、时延容忍度较高的成本敏感业务或测试环境等。 单个代理存储空间 根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间
SASL_SSL: 采用SSL证书进行加密传输，支持账号密码认证，安全性更高。 SASL_PLAINTEXT: 明文传输，支持账号密码认证，性能更好，建议使用SCRAM-SHA-512机制。 sasl_enabled_mechanisms 否 Array of strings 开启
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
