-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
-
图解Kafka、RabbitMQ和RocketMQ的差异 - 分布式消息服务Kafka版
图解Kafka、RabbitMQ和RocketMQ的差异
-
配置消息堆积数监控 - 分布式消息服务Kafka版
在“消费组”页签,设置需要创建告警通知的消费组。 图1 选择需要创建告警通知的消费组 消费组:选择需要创建告警通知的消费组。 主题:选择“全部Topic”。 选中“消息堆积数(消费组可消费消息数)”图表,单击,创建告警规则。 图2 消息堆积数图表 在“创建告警规则”界面,设置告警名称。 图3 设置告警名称 名
-
成本管理 - 分布式消息服务Kafka版
那么,创建的预算如下: 图4 预算基本信息 图5 设置成本范围 图6 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,识别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。
-
设置Kafka Topic权限 - 分布式消息服务Kafka版
统一的权限。中间为用户名的搜索框,用户过多时,在搜索框中输入用户名,快速查找用户。在“用户列表”区域,展示已创建的用户列表。在“已选择”区域,为用户授权。 为用户设置Topic权限。 如果需要为所有用户设置相同的权限,勾选“默认用户”,并设置权限。如下图所示,所有用户都拥有发布此Topic的权限。
-
查看Kafka消息 - 分布式消息服务Kafka版
当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 单击“搜索”,查询消息。 查询结果如下: 图1 查询Topic消息 消息的参数说明如下: Topic名称:消息所在的Topic名称。 分区:消息所在的分区。 偏移量:消息在分区中的位置。
-
停止计费 - 分布式消息服务Kafka版
选择“明细账单”,在如下图所示位置单击鼠标左键,复制资源ID。 图1 复制资源ID 登录管理控制台,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 选择资源所在的区域,在搜索框中输入2中复制的资源ID,按“Enter”,即可查找到该资源。 图2 查找资源
-
费用账单 - 分布式消息服务Kafka版
账单时,需要分别查看实例账单和存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键,复制实例的资源ID。 图1 获取资源ID(实例) 单击实例名称,进入实例详情页,查看存储空间的资源ID。 图2 获取资源ID(存储空间) 进入“费用中心 > 流水和明细账单”页面。
-
Kafka相关概念 - 分布式消息服务Kafka版
本复制到其他副本(Follower)。 Kafka的主题和分区属于逻辑概念,副本与代理属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。
-
典型应用场景 - 分布式消息服务Kafka版
日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
e。 COMPLETING_REBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 图1 消费组列表 (可选)如果需要查询某个消费组,在搜索框中,输入消费组名称,单击。 (可选)如果需要刷新消费组列表,在右上角单击。 查看消费组列表(Kafka客户端)
-
查看Kafka消费者信息 - 分布式消息服务Kafka版
入消费组订阅的Topic列表页面。 图3 消费组列表页面 单击待查看消费者连接地址的Topic名称,进入Topic详情页。 图4 消费组订阅的Topic列表页面 在“Consumer Instance Owner”中,查看消费者连接地址。 图5 Topic详情页 父主题: 管理消费组
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
endpoint”时,表示启动成功。 图4 启动Logstash 在Logstash中,生产消息,如下图所示。 图5 生产消息 切换到Kafka控制台,单击实例名称,进入实例详情页。 在左侧导航栏单击“消息查询”,进入消息查询页面。 在“Topic名称”中选择“topic-logstash”,单击“搜索”,查询消息。
-
配置Kafka实例标签 - 分布式消息服务Kafka版
配置Kafka实例标签 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“标签”页面添加标签,您最多可以给实例添加20个标签。另外,您还可以删除标签。
-
重启Kafka Manager - 分布式消息服务Kafka版
重启Kafka Manager 操作场景 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 重启Kafka Manager不会影响业务。 2023年5月17日及以后创建的实例不提供重启Kafka
-
查看和重置Kafka消费进度 - 分布式消息服务Kafka版
、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。 图1 消费进度 (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,单击。 查看消费进度(Kafka客户端) 未开启密文接入的Kafka实例,在“/
-
Kafka业务使用流程 - 分布式消息服务Kafka版
Kafka业务使用流程 使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。 购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。
-
查看Kafka实例后台任务 - 分布式消息服务Kafka版
在右上角选择“后台任务”,单击系统默认时间,选择开始时间和结束时间,单击“确定”,界面显示相应时间段内启动的任务。在“后台任务”页签,单击时间段下拉框,选择搜索时间,在搜索框中输入关键字,按“Enter”,界面显示相应时间段内启动的任务。 在后台任务管理页面,您还可以执行以下操作: 单击,刷新任务状态。
-
生产或消费消息时,报Topic {{topic - 分布式消息服务Kafka版
可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。 问题解决措施 以下三种措施都可以解决此问题,请根据实际情况任意选择一种。 升级Kafka客户端的版本到2.7或以上版本,并设置“socket
-
版本支持公告 - 分布式消息服务Kafka版
版本支持公告 版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7(推荐)、3.x 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。