-
Kafka扩容/缩容会影响业务吗? - 分布式消息服务Kafka版
扩容/缩容Kafka实例的影响如表1所示。变更实例规格的时长和代理数量有关,单个代理的变更时长一般在5~10分钟,代理数量越多,规格变更时间越长。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘
-
Kafka实例的连接地址默认有多少个? - 分布式消息服务Kafka版
Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s)
-
产品规格 - 分布式消息服务Kafka版
x版本,单机版实例支持Kafka 2.7版本。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
修改Kafka分区平衡 操作场景 分区平衡是指将分区的副本重新分配到不同的代理上,解决代理负载不均衡问题。 需要进行分区平衡的场景如下: 实例扩容代理个数后,将原有Topic分区的副本迁移到新代理上 将高负载代理上的Leader分区切换为Follower 增加/减少副本数量 分布式消
-
创建的Kafka实例是集群模式么? - 分布式消息服务Kafka版
创建的Kafka实例是集群模式么? Kafka实例分为单机版实例和集群实例,单机版实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 父主题: 实例问题
-
如何扩总分区? - 分布式消息服务Kafka版
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更实例规格。 父主题: Topic和分区问题
-
关闭Smart Connect - 分布式消息服务Kafka版
单机版实例不支持关闭Smart Connect。 操作影响 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。
-
客户端单IP连接的个数为多少? - 分布式消息服务Kafka版
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
-
变更Kafka实例规格 - 分布式消息服务Kafka版
变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。
-
计费项 - 分布式消息服务Kafka版
分布式消息服务Kafka版计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子:代理规格和代理数量 如果开启Smart Connect,实例需要另外收取用于Smart Connect的代理费用。 包年/包月、按需计费 实例规格单价 * 购买时长 实例规格单价请参见分布式消息
-
扩容/缩容过程中生产消息失败 - 分布式消息服务Kafka版
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。
-
查看Kafka磁盘使用量 - 分布式消息服务Kafka版
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量。 单机版实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息
-
查看Kafka流控统计 - 分布式消息服务Kafka版
查看Kafka流控统计 本章节指导您在控制台查看每个代理上用户/客户端/Topic的流控使用量。 单机版实例不支持查看流控监控。 查看流控使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 >
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。
-
使用DNAT实现公网访问Kafka - 分布式消息服务Kafka版
使用DNAT访问Kafka实例时,通过端口映射方式,实现Kafka实例对公网提供服务。 前提条件 已购买弹性公网IP,弹性公网IP的数量与Kafka实例中代理个数相同。 步骤一:获取Kafka实例的信息 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
-
为什么限制Topic的总分区数? - 分布式消息服务Kafka版
不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30
-
状态码 - 分布式消息服务Kafka版
服务器无法根据客户端请求的内容特性完成请求。 407 Proxy Authentication Required 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。
-
快速入门 - 分布式消息服务Kafka版
name:实例名称,由您自行定义。 engine:消息引擎,设置kafka。 engine_version:消息引擎的版本。 broker_num:代理个数。 storage_space:消息存储空间,单位GB。具体取值范围,请参考创建实例。 vpc_id:Kafka实例所在的VPC(虚拟私有云)的ID。请参考创建实例获取。
-
Kafka Manager概述 - 分布式消息服务Kafka版
图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页 单击功能导航栏中的Brokers,即可进入代理统计页。如图4所示。 图中①区域代理列表,包含总的字节流入和字节流出。 图中②集群监控信息。 图4 所有代理统计页 具体代理统计页 单击id列表中具体的Br
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
消费组列表页面显示消费组名称、消费组状态、Coordinator (ID)和描述。Coordinator (ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARIN