检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定时执行:表示在指定的时间执行分区平衡任务。 (可选)单击“一键测算”,在“预估耗时”中,显示执行自动平衡大概需要的时间。 一键测算功能对Kafka实例性能没有影响。 单击“确定”。 定时任务和非定时任务查看分区平衡是否完成的方法不同,具体如下: 表2 查看分区平衡结果 任务类型 分区平衡结果
配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。 非SASL认证方式 from kafka import KafkaProducer
参数 说明 套餐规格 选择“综合推荐”中的“入门版”。入门版面向入门级用户,提供兼容开源协议的托管Kafka服务,适用于性能诉求不高、时延容忍度较高的成本敏感业务或测试环境等。 单个代理存储空间 根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间
配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。 sasl.mechanism:SASL认证机制。在Kafka实例控制台的基本
#安全协议为“SASL_PLAINTEXT”时,配置信息如下。 security.protocol=SASL_PLAINTEXT 生产消息 测试代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录,以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。
使用Smart Connect迁移业务,会对源端Kafka进行消费,对目标端Kafka进行生产,会占用源端和目标端Kafka的带宽。 出于性能考虑,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。
=-1,否则不生效,默认关闭。 sync_message_flush Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 external_configs Object 扩展配置。 topic_type Integer topic类型(0:普通Topic
采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议 - 开启明文接入且关闭密文接入时,跨VPC访问Kafka
主题数量。 partitions_count Integer 分区数量。 online_partitions_count Integer 在线分区数量。 replicas_count Integer 副本数量。 isr_replicas_count Integer ISR(In-Sync
用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。
启“同步消费进度”,此时会导致数据重复复制,且目标Topic消费进度异常。 图1 复制数据规则配置 (可选)在页面右下角单击“开始检测”,测试两端Kafka实例的连通性。 显示“连通性检测成功”时,表示两端Kafka实例可以正常连接。 单击“立即创建”,跳转到Smart Conn
副本数,配置数据的可靠性。 取值范围:1-3。 sync_message_flush 否 Boolean 是否使用同步落盘。默认值为false。同步落盘会导致性能降低。 partition 否 Integer topic分区数,设置消费的并发数。取值范围:1-200。 sync_replication
包含3个分区和3个副本的Topic。 storage_spec_code String 是 存储IO规格。如何选择磁盘类型请参考磁盘类型及性能介绍。 取值范围: 参数specification为100MB时,取值dms.physical.storage.high或者dms.physical
Kafka实例作为Logstash输入源的示意图如下。 图2 Kafka实例作为Logstash输入源 日志采集客户端将数据发送到Kafka实例中,Logstash根据自身性能从Kafka实例中拉取数据。Kafka实例作为Logstash输入源时,可以防止突发流量对于Logstash的影响,以及解耦日志采集客户端和Logstash,保证系统的稳定性。
采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 SSL用户名 - 客户端用于连接Kafka实例的用户名。 用户名需要符合以
SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT: 明文传输,支持账号密码认证,性能更好,建议使用SCRAM-SHA-512机制。 sasl_enabled_mechanisms 否 Array of strings 开启
SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT: 明文传输,支持账号密码认证,性能更好,建议使用SCRAM-SHA-512机制。 sasl_enabled_mechanisms Array of strings 开启SASL后使用的认证机制。
SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT: 明文传输,支持账号密码认证,性能更好,建议使用SCRAM-SHA-512机制。 sasl_enabled_mechanisms Array of strings 开启SASL后使用的认证机制。
实例分区配额不足,超出实例分区上限 请检查分区数是否超过限制。 400 DMS.50050004 The consumer group is offline. 消费组不在线 启动该消费组内消费者实例 401 DMS.10240101 Invalid token. Token无效。 请检查token是否有效 401