-
终端节点 - 分布式消息服务Kafka版
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 父主题: 使用前必读
-
创建关闭实例转储节点的订单 - 分布式消息服务Kafka版
创建关闭实例转储节点的订单 功能介绍 创建关闭实例转储节点的订单。 当前页面API为历史版本API,未来可能停止维护。请使用关闭Smart Connect(按需实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instan
-
登录到Kafka Manager页面,为什么获取不到节点信息? - 分布式消息服务Kafka版
登录到Kafka Manager页面,为什么获取不到节点信息? 问题现象:正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示: 问题原因:这是Kafka开源问题,需要联系客服,重启Kafka Manager。 父主题: Kafka Manager问题
-
快速入门 - 分布式消息服务Kafka版
例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息: { "name": "kafka-demo"
-
开启Smart Connect(按需实例) - 分布式消息服务Kafka版
Connect(按需实例) 功能介绍 开启Smart Connect,提交创建Smart Connect节点任务。 当前通过调用API,只支持按需实例创建Smart Connect节点。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/insta
-
为什么可用区不能选择2个? - 分布式消息服务Kafka版
每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行,才能保证Zookeeper集群正常运行。 假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2
-
Kafka实例是否支持跨VPC访问? - 分布式消息服务Kafka版
创建一个云连接实例,然后在创建的云连接实例中加载需要互通的VPC,实现跨VPC访问。具体步骤请参考同区域同帐号VPC互通。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考跨VPC访问Kafka实例。 父主题: 连接问题
-
生产或消费消息时,报Topic {{topic - 分布式消息服务Kafka版
7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化,多少会发生一些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施:
-
业务过载处理建议 - 分布式消息服务Kafka版
区迁移到其他节点,会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数(num.io.threads、num.network.threads、num.replica.fetchers)过多,导致CPU繁忙。 分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。
-
生产消息失败 - 分布式消息服务Kafka版
问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更实例规格。
-
使用VPCEP实现跨VPC访问Kafka - 分布式消息服务Kafka版
息,请参考购买终端节点。 图6 终端节点参数设置 单击“立即购买”,进入规格确认页面。 确认无误后,提交请求。 购买成功后,返回终端节点页面,查看终端节点状态是否为“已接受”,“已接受”表示终端节点已成功连接至终端节点服务。 图7 查看终端节点状态 单击终端节点ID,在“基本信息”页签,查看并记录节点IP。
-
获取项目ID - 分布式消息服务Kafka版
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
-
查看Kafka监控数据 - 分布式消息服务Kafka版
在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看实例、节点、主题和消费组的监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控”,进入监控页面,查看实例、节点、主题和消费组的监控数据,数据更新周期为1分钟。 父主题: 查看监控指标与配置告警
-
如何选择Kafka实例的存储空间? - 分布式消息服务Kafka版
假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中,每个Kafka节点会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认
-
Kafka消息堆积了怎么办? - 分布式消息服务Kafka版
Kafka消息堆积了怎么办? 问题现象:实例的监控指标“堆积消息数”产生了告警。 处理方法1: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,单击“监控”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。
-
连接Kafka网络要求 - 分布式消息服务Kafka版
客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。 - 客户端和Kafka实例部署在同一个Region的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现跨VPC访问。 使用VPCEP实现跨VPC访问Kafka 客户端和Kafka实例部署在同一个Region的
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
0~1000000000 Kafka实例 1分钟 节点监控指标 表2 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) broker_data_size 节点数据容量 该指标用于统计节点当前的消息数据大小。 单位:Byte、KB、MB、GB、TB、PB
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,你还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度
-
概述 - 分布式消息服务Kafka版
创建一个云连接实例,然后在创建的云连接实例中加载需要互通的VPC,实现跨VPC访问。具体步骤请参考同区域同账号VPC互通。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。 如果客户端在其他网络环境,或者与Kafka实例处于不同region,则访问实例的公网地址。