检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
输入消息正文的关键字。 说明: 由于查询资源和性能限制,使用关键字查询消息时,最大搜索范围为10000条消息且所有消息的总大小不超过200MB,最多返回符合关键字的前10条消息。查询超大消息(即单条消息超过20KB)或时间跨度大的消息时,建议将消息下载到本地,在本地进行关键字查询。 创建时间
费组。 STABLE:消费组内成员可以正常消费。 图1 消费组列表 (可选)如果需要搜索某个消费组,在搜索框中,输入消费组名称、消费组状态、Coordinator (ID)、堆积数、描述或者关键字,按“Enter”。 (可选)如果需要刷新消费组列表,在右上角单击。 查看消费组列表(Kafka客户端)
为所有用户设置相同的权限 如果需要为某个用户设置权限,不勾选“默认用户”,在“用户列表”区域,勾选需要订阅/发布/发布+订阅此Topic的用户名。如果用户过多,在搜索框中输入用户名,快速查找用户。在“已选择”区域,为用户设置不同的权限。如下图所示,此时只有“test”、“send”和“receive”用
Kafka将日志存储在消息文件中,实现日志的持久化存储。 日志处理应用,如Logstash,订阅并消费Kafka中的日志消息,最终供文件搜索服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、E
告警”,进入“一键告警”页面。 告警规则的默认状态为“关闭”,单击“前往CES配置一键告警”,跳转到云监控服务控制台的“一键告警”页面。 图2 一键告警 在顶部搜索框中单击鼠标左键,选择“资源类型”,然后在下拉框中勾选“分布式消息服务”,单击“确定”。 在“分布式消息服务”所在行,按,弹出“开启告警规则”对话框。
配置Kafka自动创建Topic “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default
查看Kafka监控数据 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标和关键指标的Top数据。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
”页面。 在左侧导航栏单击“后台任务管理”,进入后台任务管理页面。 在“后台任务”/“定时任务”页签,单击时间段下拉框,选择搜索时间,在搜索框中输入关键字,按“Enter”,界面显示相应时间段内启动的任务。 在后台任务管理页面,您还可以执行以下操作: 单击,刷新任务状态。 单击“
新创建的流控。 未开启密文接入的实例:在搜索框中输入新创建的流控名称,按“Enter”。 已开启密文接入的实例:单击页面左上角的“仅设置了用户名”/“仅设置了客户端ID”/“设置了用户名和客户端ID”,选择新创建的流控所属的分类,然后在搜索框中输入新创建的流控名称,按“Enter”
监控安全风险 DMS for Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及
在“消费者列表”页签,查看消费者列表。 在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。 (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。 查看消费者列表(客户端) 未开启密文接入的Kafka实例,在Kafka客户端的“/bin”目录下,通过以下命令查询消费者列表。
切换到Kafka控制台,单击实例名称,进入实例详情页。 在左侧导航栏单击“消息查询”,进入消息查询页面。 在“Topic名称”中选择“topic-logstash”,单击“搜索”,查询消息。 图6 查询消息 从图6可以看出,Logstash的Kafka output Plugin已经把数据写入到Kafka实例的topic-logstash中。
在左侧导航栏单击“重平衡日志”,进入“重平衡日志”页面。 在“仪表盘”页签,查看消费组重平衡次数和原因。在“日志查询”页签,查看重平衡日志。 如果您需要搜索日志,请参考进入搜索LTS日志页面进行操作。 重平衡日志示例如下: { "level":"INFO", "timestamp":"2023-03-23
包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。 图1 消费进度 (可选)如果需要查询某个Topic的消费进度,在搜索框中,输入Topic名称,按“Enter”。 查看消费进度(Kafka客户端) 未开启密文接入的Kafka实例,在Kafka客户端的“/b
获取资源ID(存储空间) 进入“费用中心 > 流水和明细账单”页面。 选择“明细账单”,在筛选条件中选择“资源ID”,并输入3复制的资源ID,按“Enter”即可搜索该资源的账单。 图4 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
何Topic执行其他分区平衡任务。 修改定时分区平衡任务 在“后台任务管理”页面的“定时任务”页签中,单击页面左上角下拉框,选择时间段,在搜索对话框中输入待修改定时分区平衡任务的Topic名称,按“Enter”,实现快速查找定时分区平衡任务。 图5 查找定时分区平衡任务 在待修改的定时分区平衡任务后,单击“修改”。
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
当任务的“状态”为“失败”时,表示升级失败,请联系客服处理。 修改定时升级任务 在“后台任务管理”页面的“定时任务”页签中,单击页面左上角下拉框,选择时间段,在搜索对话框中输入“版本升级”,按“Enter”,快速查找定时升级任务。 在待修改的定时升级任务后,单击“修改”。 在弹出的“修改定时任务”对话
> 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 选择资源所在的区域,在搜索框中输入2中复制的资源ID,按“Enter”,即可查找到该资源。 如果没有搜索到Kafka实例,可能是因为该实例已被删除,当前存放在回收站中。在回收站页面,单击Kafka实例名称