检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
broker_cpu_core_load CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。 单位:% 0~20 Kafka实例节点 1分钟 broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位:% 0~100% Kafka实例节点
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 创建流控配置的任务ID 请求示例 创建用户/客户端流控配置。 POST https://{endpoint}/v2/kafka/{project_id}/instances/
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 删除流控配置的任务ID 请求示例 删除用户/客户端流控配置。 DELETE https://{endpoint}/v2/kafka/{project_id}/instance
分区平衡,将原有Topic分区的副本迁移到新代理上。 将高负载代理上的Leader分区切换为Follower。 在修改分区平衡过程中,可以配置增加/减少Topic的副本数。 分布式消息服务Kafka版控制台提供两种分区平衡的方法:自动平衡和手动平衡,建议选择自动平衡,确保分区Leader的均匀分布。
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 约束与限制 如果一个实例中消费组数量超过10000,则不支持查询Topic的订阅关系。 查看Topic详情 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 修改流控配置的任务ID 请求示例 修改用户/客户端流控配置。 PUT https://{endpoint}/v2/kafka/{project_id}/instances/{
队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
修改Kafka Topic副本数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 约束与限制 单机实例不支持修改副本数。
导出Kafka Topic列表 本章节指导您在控制台导出Topic列表,支持批量导出。 前提条件 已创建Topic。 导出Topic列表 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消
hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 父主题: 配置Kafka客户端
使用DNAT实现公网访问Kafka 您可以通过以下任意一个方式实现公网访问: 在Kafka实例控制台开启公网访问,使用弹性IP地址连接Kafka实例,具体请参考配置Kafka实例的公网访问。 使用DNAT通过端口映射方式,将弹性IP地址映射到Kafka实例指定端口,实现Kafka实例对公网提供服务。
如果Kafka实例的子网配置了网络ACL功能,需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址,以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段,使用VPC终端节点需要放通此网段。 父主题: 配置Kafka网络连接
分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。
在Windows主机中,解压Logstash压缩包,进入“config”文件夹,创建“output.conf”配置文件。 图3 创建“output.conf”配置文件 在“output.conf”配置文件中,增加如下内容,连接Kafka实例。 input { stdin {} } output
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云服务器。 在实例详情信息页面,获取Kafka Manager地址。
- [root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_
er,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
apache.kafka.common.serialization.StringDeserializer #======== SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl