检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动态参数修改成功后,无需重启实例,立即生效。 静态参数:静态参数修改成功后,需要手动重启实例才能生效。 部分老实例不支持修改配
集群实例的SASL_SSL开关支持修改,具体步骤请参考修改实例的接入方式。 单机实例不支持SASL_SSL功能。 开启IPv6的实例不支持动态修改SASL_SSL开关。 父主题: 实例问题
消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max
本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会
Kafka配置参数修改 修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect 开启Smart Connect功能。
myhuaweicloud.com”),并在管理员创建IAM用户的URI部分找到resource-path(/v3.0/OS-USER/users),拼接起来如下所示。 https://iam.cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users 图1
规格(kafka.2u4g.cluster.small除外)使用的独占资源,性能更优,性价比更高。 新规格支持最新的功能,例如:分区平衡、动态开启SSL、重平衡日志可观测等。 新规格支持规格灵活变更,例如:Broker规格的扩缩容。 新规格的磁盘大小选择更加灵活,磁盘大小不与实例
String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic
String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例。 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic
String 企业项目ID。 is_logical_volume Boolean 实例扩容时用于区分老实例与新实例。 true:新创建的实例,允许磁盘动态扩容不需要重启。 false:老实例 extend_times Integer 实例扩容磁盘次数,如果超过20次则无法扩容磁盘。 enable_auto_topic
v6功能。 IPv6 子网开启IPv6后,页面才显示此参数。开启IPv6后,客户端可以使用IPv6地址连接实例。 开启IPv6的实例不支持动态开启和关闭SASL_SSL功能。 实例创建成功后,不支持修改IPv6开关。 说明: 此功能仅在“华东二”区域上线。 安全组 选择已经创建好的安全组。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
如果开启了公网访问功能(即enable_publicip为true),该字段为必选。 ssl_enable 否 Boolean 是否打开SSL加密访问。 实例创建后将不支持动态开启和关闭。 true:打开SSL加密访问。 false:不打开SSL加密访问。 kafka_security_protocol 否 String
响应Body参数 参数 参数类型 描述 job_id String 配置修改任务ID。 dynamic_config Integer 本次修改动态配置参数个数。 static_config Integer 本次修改静态配置参数个数。 请求示例 修改实例的连接空闲超时和日志删除的时间阈值。
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下: 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();