检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]# go version go version go1.16.5 linux/amd64
group_id String 消费组ID。 id Integer 对应协调器的broker id。 host String 对应协调器的地址。 port Integer 端口号。 请求示例 GET https://{endpoint}/v2/{project_id}/insta
创建用户 授权用户 消费组管理 分布式消息服务Kafka版支持在控制台删除消费组、重置消费进度以及查看消费者连接地址。 支持区域: 全部 删除消费组 重置消费进度 查看消费者连接地址 修改配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以
Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafk
配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。
单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。 Manager内网访问地址 未开启公网访问时,连接Kafka Manager的地址。 2023年5月17日及以后创建的实例不提供此地址。 Manager用户名 连接Kafka
Kafka实例的连接地址默认有多少个? 是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗?
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
查看Kafka审计日志 通过云审计服务(Cloud Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for
python3 producer.py 运行成功后,返回如下回显。 [root@ecs-test ~]# python3 producer.py start producer end producer [root@ecs-test ~]# 消费消息 在客户端创建一个文件,用于存放消费消息的代码示例。
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
无法连接Kafka实例。 公网IP地址 根据页面提示信息选择对应数量的公网IP地址。 如果公网IP地址数量不足,请单击“创建弹性IP”跳转到弹性公网IP页面,创建公网IP地址。然后返回Kafka控制台,在“公网IP地址”后单击,刷新公网IP地址。 Kafka实例不支持绑定IPv6
单击Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“高级配置”区域,获取Kafka实例的网卡地址(listeners IP)和对应的Port ID。 图2 Kafka实例的网卡地址(listeners IP)和对应的Port ID 在“基本信息”页面的“网络”区域,查看Kafka实例所在的VPC名称。
连接信息”中,获取Kafka实例的连接地址。 number-of-partitions:Topic的分区数。出于性能考虑,建议单个Topic的分区数设置为200以内。 number-of-replicas:Topic的副本数。 示例如下: [root@ecs-kafka bin]# ./kafka-topics
租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 disk_encrypted_key String 磁盘加密key,未开启磁盘加密时为空。 kafka_private_connect_address String Kafka实例内网连接地址。 ka
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 disk_encrypted_key String 磁盘加密key,未开启磁盘加密时为空。 kafka_private_connect_address String Kafka实例内网连接地址。 ka
pod_connect_address String 租户侧连接地址。 disk_encrypted Boolean 是否开启磁盘加密。 是:开启 否:不开启 kafka_private_connect_address String Kafka实例私有连接地址。 ces_version String 云监控版本。
图1 订阅关系 分区信息:包含分区编号、最小偏移量、最大偏移量、消息数和消息更新时间。 图2 分区信息 生产者信息:包含Broker地址、生产者地址和加入时间。 仅当生产者正在往Topic中生产消息时,才显示生产者信息。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示“生产者”页签。
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息: