检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
connection-address:在Kafka控制台的“基本信息 > 连接信息”中,获取Kafka实例的连接地址。 consumer-group-name:消费组名称。 示例如下: [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server
分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。
配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。
连接信息”中,获取Kafka实例的连接地址。 number-of-partitions:Topic的分区数。出于性能考虑,建议单个Topic的分区数设置为200以内。 number-of-replicas:Topic的副本数。 示例如下: [root@ecs-kafka bin]# ./kafka-topics
Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。 Smart Connect代理的监控指标包括:磁盘容量使用率、内存
根据业务发展需要,您可以为实例扩容存储空间和基准带宽、修改实例安全组、开启实例转储。除此之外,您还可以实时查看监控指标及审计日志,以便及时了解Kafka实例节点、队列、消费组等相关状态。 日常操作 查看实例信息 扩容实例存储空间 扩容实例代理个数 开启Smart Connect 删除消费组 重置消费进度
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
为什么可用区不能选择2个? 创建实例时为什么无法查看子网和安全组等信息? 如何选择Kafka实例的存储空间? Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么?
Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗?
方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询安全组列表。 subnet_id String 是 子网信息。 获取方法如下: 方法1:登录虚拟私有云服务的控制台界面,单击VPC下的子网,进入子网详情页面,查找网络ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询子网列表。
无法连接Kafka实例。 公网IP地址 根据页面提示信息选择对应数量的公网IP地址。 如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。 Kafka实例不支持绑定IPv6
查看Kafka实例后台任务 对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
取。 available_zones:创建节点到指定的AZ ID,该参数不能为空数组或者数组的值为空,请参考查询可用区信息获取。 product_id:产品标识。请参考查询产品规格列表获取。 storage_spec_code:存储IO规格。具体取值范围,请参考创建实例。
取。 消息生产与消费的幂等传递 分布式消息服务Kafka版设计了一系列可靠性保障措施,确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确
TTPS请求调用,调用方法请参见如何调用API。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以
e时间、原因和触发Rebalance的客户端等。本章节介绍如何在控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 单机实例不支持查看重平衡日志。 约束与限制 2023年4月6日前创建的实例,不支持重平衡日志功能。
开启:消息将发送到指定的分区内。开启“发送到指定分区”后,需要选择分区ID。 单击“确定”,完成消息的发送。 消息发送成功后,您可以在“消息查询”页面,查看已成功发送的消息。 父主题: 连接实例