检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
图解Kafka、RabbitMQ和RocketMQ的差异
该部分可选。请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类
SDK概述 本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。
总topic数量。 partitions_count Integer 总分区数。 online_partitions_count Integer 在线分区数。 replicas_count Integer 总副本数。 isr_replicas_count Integer ISR(In-Sync
项目ID,获取方式请参见获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 实例名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 description 否 String 实例的描述信息。 长度不超过1024的字符串。
易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用,而且即使没有使用,所占用资源本身依旧要收费。 完全托管 租户不需
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 name 否 String 实例名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 description 否 String 实例的描述信息。 长度不超过1024的字符串。
obs_bucket_name 是 String 存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径,默认可以不填。 取值范围:英文字母、数字、下划线、中划线和斜杠,最大长度为64个字符。 默认配置为空。 partition_format 是 String 将转储文件的生
用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。
and consist of only letters, digits, and hyphens (-). 用户名不符合要求,用户名只能由英文字母、数字、中划线组成,长度为4~64的字符。 请检查用户名 400 DMS.00400016 subnet_id in the request
主题数量。 partitions_count Integer 分区数量。 online_partitions_count Integer 在线分区数量。 replicas_count Integer 副本数量。 isr_replicas_count Integer ISR(In-Sync
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
生产或消费消息时,报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}}
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
版本支持公告 版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消