检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka消费者信息 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。 约束与限制 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置
创建用户 功能介绍 创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI
fka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署。 单AZ部署的Kafka实例,不具备AZ之间的容灾能力。用户对可靠性要求提升后,需要迁移到多AZ部署的实例上。
服务类别:选择“按名称查找服务”。 服务名称:输入9中记录的终端节点服务名称,单击“验证”。显示“已找到服务”后,继续后续操作。 虚拟私有云:选择Kafka客户端所属的VPC。 子网:选择Kafka客户端所属的子网。 IPv4地址:选择“自动分配IPv4地址” 其他参数保持默认,
创建Kafka Topic Topic,即消息主题,用于存储消息,供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后,如果没有开启“Kafka自动创建Topic”,需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”,则该操作为可选。 “Kafka自动
配置Kafka间的数据复制 本章节介绍如何创建Kafka数据复制的Smart Connect任务,通过Smart Connect任务可以在两个Kafka实例之间,实现数据的单向或双向复制。 源Kafka实例中的数据会实时同步到目标Kafka实例中。 约束与限制 单机实例不支持创建Kafka数据复制的Smart
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明
关闭Kafka Manager Kafka Manager会占用额外的内存和CPU资源,关闭Kafka Manager可以减少这部分资源的占用。本章节指导您在控制台关闭Kafka Manager。 约束与限制 Kafka Manager关闭后,无法再次开启。 关闭Kafka Manager,不会重启实例。
@#$%^&*()-_=+\|[{}]:'",<.>/?) vpc_id String 是 虚拟私有云ID。 获取方法如下: 方法1:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 方法2:通过虚拟私有云服务的API接口查询,具体操作可参考查询VPC列表。
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
查看Kafka审计日志 通过云审计服务(Cloud Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for
获取和使用Kafka PEM格式的SSL证书 本章节指导您如何获取PEM格式的SSL证书,并使用PEM格式证书访问Kafka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
创建实例时为什么无法查看子网和安全组等信息? 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 父主题: 实例问题
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处于相同region但不同VPC,通过以下任意一种方式访问。
AT网关”页面。 设置如下参数。 区域:与Kafka实例保持一致。 名称:您自定义的公网NAT网关名称。 虚拟私有云:选择获取Kafka实例的信息中记录的虚拟私有云。 子网:选择获取Kafka实例的信息中记录的子网。 企业项目:根据实际情况选择。 其他参数请根据实际情况填写,如果
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
broker_num:代理个数。 storage_space:消息存储空间,单位GB。具体取值范围,请参考创建实例。 vpc_id:Kafka实例所在的VPC(虚拟私有云)的ID。请参考创建实例获取。 security_group_id:安全组ID。请参考创建实例获取。 subnet_id:VPC内子网的网络ID。请参考创建实例获取。
修改用户参数 功能介绍 修改用户参数 调用方法 请参见如何调用API。 URI PUT /v2/{engine}/{project_id}/instances/{instance_id}/users/{user_name} 表1 路径参数 参数 是否必选 参数类型 描述 engine