检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
obs_bucket_name 是 String 存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径,默认可以不填。 取值范围:英文字母、数字、下划线、中划线和斜杠,最大长度为64个字符。 默认配置为空。 partition_format 是 String 将转储文件的生
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000
操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后重置消费进度。停止待重置消费进度的消费者客户端后,需要等待一段时间(即ConsumerConfig
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000
重置消费组消费进度到指定位置 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 前提条件 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SE
用的IP地址。 SSL用户名 用户名输入“test”,密文接入成功开启后,用户名不支持修改。 用户名需要符合以下命名规则:由英文字母开头,且只能由英文字母、数字、中划线、下划线组成,长度为4~64个字符。 密码 设置连接实例的密码,密码需要符合以下命名规则: 长度为8~32个字符。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章
在“connect任务名称”中,输入Smart Connect任务的名称,用于区分不同的Smart Connect任务。任务名称需要符合命名规则:长度为4~64个字符,只能由英文字母、数字、中划线、下划线组成。 在“预置类型”中,选择“Kafka数据复制”。 在“立即执行”中,选择任务创建后是否立即执行任务,默认开启
用户列表。 表3 ShowInstanceUsersEntity 参数 参数类型 描述 user_name String 用户名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 user_desc String 用户描述。 role String 用户角色。
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
参考表1设置消费组参数,单击“确定”。 表1 消费组参数说明 参数 说明 消费组名称 自定义名称,但需要符合命名规则:只能由英文字母、数字、下划线开头,且只能英文字母、 数字、句点、中划线、下划线组成,长度3~64个字符。 消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。
Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供
由于明文传输,建议使用SCRAM-SHA-512机制。 SSL用户名 - 客户端用于连接Kafka实例的用户名。 用户名需要符合以下命名规则:由英文字母开头,且只能由英文字母、数字、中划线、下划线组成,长度为4~64个字符。 密文接入成功开启后,用户名不支持修改。 密码 - 客户端用于连接Kafka实例的密码。
Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka 立即使用 成长地图 由浅入深,带您玩转Kafka 01 了解 了解分布式消息服务Kafka版的产品特点和业务使用场景
项目ID。 请求消息 请求参数 参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 name String 是 实例名称。 由英文字符开头,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。
创建用户参数说明 参数 说明 用户名 连接Kafka实例的用户名,用户名支持自定义,但需要符合命名规则:长度为4~64个字符,由英文字母开头,只能由英文字母、数字、中划线、下划线组成。 密码 连接Kafka实例的密码,密码需要符合以下规则: 长度为8~32个字符。 至少包含以下字符
创建Topic(集群实例) 表2 Topic参数说明 参数 说明 Topic名称 名称支持自定义,但需要符合命名规则:以英文字母、数字、下划线开头,且只能由英文字母、数字、句点、中划线、下划线组成,长度为3~200个字符。 名称不能与以下内置Topic名称一致: __consumer_offsets
实例ID。 请求消息 请求参数 参数说明见表2。 表2 参数说明 参数 类型 必选 说明 name String 否 实例名称。 由英文字符开头,只能由英文字母、数字、中划线组成,长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。
在“消息堆积数(消费组可消费消息数)”图表上单击,创建告警规则。 图2 消息堆积数图表 在“创建告警规则”页面,设置告警名称。告警名称需要符合命名规则:只能由中文、英文字母、数字、下划线、中划线组成。 图3 设置告警名称 在“创建告警规则”页面,设置监控范围。保持当前设置,无需修改。 在“创建告警规则”页面,设置告警策略。