检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
为什么实例中存在默认名为__trace和__consumer_offsets的Topic? 问题现象:Kafka Manager中存在默认名为__trace和__consumer_offsets的Topic。 处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic
mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。
mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区 调整Kafka实例Topic分区的副本
查询指定消费组的topic 查询指定消费组的消费成员 用户管理 包括: 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 消息查询 包括: 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格,请参见分布式消息服务Kafka版价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。
在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,
enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。 修改“auto.create.groups.enable”的方法,请参考修改Kafka实例配置参数。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。 父主题: 消费组问题
本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,
移生产的开始阶段,同时消费原Kafka与新Kafka实例,会导致部分消息之间的生产顺序无法保证,存在消息乱序的问题。此场景适用于对端到端时延有要求,却对消息顺序不敏感的业务。 启动新的消费客户端,配置Kafka连接地址为新Kafka实例的连接地址,消费新Kafka实例中的数据。
得Kafka实例的操作权限。具体操作请参考创建用户并授权使用DMS for Kafka。 创建VPC和子网。 在创建Kafka实例前,确保已存在可用的VPC和子网。创建VPC和子网的具体步骤,请参考创建虚拟私有云和子网。 创建的VPC与Kafka实例必须在相同的区域。 创建安全组并添加安全组规则。
默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职
Kafka实例是否支持修改访问端口? Kafka实例的访问端口固定,不支持修改。 如果是访问未开启SASL的Kafka实例 支持的访问方式如下:同一VPC内访问、公网访问、跨VPC访问和DNAT访问。 同一VPC内使用IPv4地址访问,访问端口为9092。 同一VPC内使用IPv6地址访问,访问端口为9192。
String Kafka实例的总分区数。 used_storage_space Integer 已使用的消息存储空间,单位:GB。 connect_address String 实例连接IP地址。 port Integer 实例连接端口。 status String 实例的状态。详细状态说明见实例状态说明。
实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),
Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功
实例状态。详细状态说明见实例状态说明。 includeFailure String 否 是否返回创建失败的实例数。 当参数值为“true”时,返回创建失败的实例数。参数值为“false”或者其他值,不返回创建失败的实例数。 exactMatchName String 否 是否按照实例名称进行精确匹配查询。