检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 在pom.xml文件中引入spring-kafka依赖
Manager,不会重启实例。 关闭Kafka Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。
在待重置Manager密码的Kafka实例所在行,单击“更多 > 重置Manager密码”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称,进入实例详情页面。在“基本信息”页面,在“连接信息 > Manager用户名”后,单击“重置Manager密码”。
Manager 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,重启Kafka
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择分布式消息服务Kafka版,进入Kafka实例主界面,单击右上角“购买Kafka实例”,尝试购买Ka
通过公网访问Kafka(明文接入)。 入方向 TCP 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。 创建目标Kafka实例。 目标Kafka的规格不能低于原业务使用的Kafka规格。具体请参考购买Kafka实例。 在目标Kafka实例中创建Topic。 在目标Ka
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
Kafka实例规格 Kafka单机实例 Kafka集群实例
的Kafka实例,与连接未开启SASL_SSL的Kafka实例的端口号不同,且开启SASL_SSL的Kafka实例需要配置证书信息。 支持区域: 全部 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 跨VPC访问Kafka实例 使用DNAT访问Kafka实例
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题: API V1
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
分布式消息服务Kafka版完全兼容开源社区版本,旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。 一键式部署,免去集群搭建烦恼 您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社
count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
Kafka实例支持查看以下监控数据: 单机实例:查看实例、节点、主题和消费组的监控数据。 集群实例:查看实例、节点、主题、消费组和Smart Connect的监控数据。 查看Kafka关键指标Top数据 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
员可以根据您业务的实际诉求创建不同的用户组,用户组对应不同的数据访问场景,通过将用户添加到用户组并将IAM策略绑定到对应用户组,IAM管理员可以为不同职能部门的员工按照最小权限原则授予不同的数据访问权限,详情请参见权限管理。 建议配置安全组访问控制,保护您的数据不被异常读取和操作。