检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er)。 Kafka的主题和分区属于逻辑概念,副本与代理属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。
pic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量冲击。但需要注意,带宽限制不会区分是正常的生产消息造成的副本同
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。
本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,
Boolean 是否开启消息查询功能。 vpc_client_plain Boolean 是否开启VPC明文访问。 support_features String Kafka实例支持的特性功能。 trace_enable Boolean 是否开启消息轨迹功能。 pod_connect_address
不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
查询分区指定时间段的消息 当前页面API为历史版本API,未来可能停止维护。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/messages?partition={partitio
Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。
Boolean 是否开启消息查询功能。 vpc_client_plain Boolean 是否开启VPC明文访问。 support_features String Kafka实例支持的特性功能。 trace_enable Boolean 是否开启消息轨迹功能。 pod_connect_address
支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别,通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于C
同时支持IPv6内网访问和IPv6公网访问。 Kafka控制台的“基本信息 > 连接信息”的内容存在两种不同的显示,导致开启/关闭IPv4公网访问的步骤有所不同。 未开启IPv6功能,开启/关闭IPv4公网访问的步骤请参考开启IPv4公网访问(支持修改明文/密文接入)和关闭IP
查询用户权限 功能介绍 查询用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/instances/{instance_id}/topics/{topic_name}/accesspolicy
设置用户权限 功能介绍 设置用户权限。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/instances/{instance_id}/topics/accesspolicy 表1 路径参数
查询用户列表 功能介绍 查询用户列表。 Kafka实例开启SASL功能时,才支持多用户管理的功能。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/users 表1 路径参数 参数 是否必选 参数类型
Kafka实例批量删除Topic 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例批量删除Topic。 功能介绍 该接口用于向Kafka实例批量删除Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics/delete
Manager密码 如果您忘记了创建实例时设置的Kafka Manager密码,通过重置Manager密码功能,重新设置一个新的密码,可使用新密码登录Kafka Manager。 2023年5月17日及以后创建的实例不提供重置Kafka Manager密码功能。 前提条件 已创建Kafka实例,且实例处于“运行中”。
Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功
为什么删除消费组不生效? 可能原因:您开启了自动创建消费组功能,且您的业务正在连接该消费组消费消息。所以,如果没有停止您的业务,删除了消费组后,消费消息时还是会自动创建该消费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create.groups
启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 功能介绍 用于启动未启动的Smart Connect任务以及重启已暂停或者运行中的Smart Connect任务。注意,重启Smart Connect任务将重置同步进度,并重新开始同步任务。