检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
变更实例规格 变更Kafka集群实例规格
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
计费模式 分布式消息服务Kafka版计费模式概述 包年/包月 按需计费
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
查看Kafka流控统计 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。 约束与限制 单机实例不支持查看流控监控。 查看带宽使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
查询消息 功能介绍 查询消息的偏移量和消息内容。 先根据时间戳查询消息的偏移量,再根据偏移量查询消息内容。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/messages 表1 路径参数 参数 是否必选
Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点,会增加其他节点的负载。
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
查询所有实例列表 当前页面API为历史版本API,未来可能停止维护。请使用查询所有实例列表。 功能介绍 查询租户的实例列表,支持按照条件查询。 URI GET /v1.0/{project_id}/instances?engine={engine}&name={name}&sta
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 单击待查看消费者列表的消费组名称,进入消费组详情页。 在“消费者列表”页签,查看消费者列表。 在消费者列表中,可以查看消费者ID、消费者地址和客户端ID。 (可选)如果需要查询某个消费者,在搜索框中,输入消费者ID,按“Enter”。 查看消费者列表(客户端) 未
单击待查看消费进度的消费组名称,进入消费组详情页。 在“消费进度”页签,查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的消费进度(包括堆积数、偏移量、最大消息位置、消费者ID、消费者地址和客户端ID)。 图1 消费进度 (可选)如果需要查询某个T
Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。 Smart Connect代理的监控指标包括:磁盘容量使用率、内存
r。 单击“分布式消息服务 DMS”,进入“资源详情”页签。 在待查看告警规则的Kafka实例所在行,单击“更多 > 查看告警规则”,弹出“查看告警规则”对话框,查看此Kafka实例的所有告警规则。 父主题: 查看监控指标与配置告警
查看和修改Kafka实例基本信息 创建Kafka实例成功后,您可以在控制台查看Kafka实例的详细信息,并根据自己的业务情况对Kafka实例的部分参数进行调整,包括实例名称、描述、安全组和容量阈值策略等。 约束与限制 单机实例不支持修改Smart Connect和内网访问。 前提条件
查询指定实例 功能介绍 查询指定实例的详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分:日志采集客户端,Kafka消息队列以及后端的日志处理应用。 日志采集客户端,负责用户各类应用服务的日志数据采集,以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息,对应用服务的性能影响非常小。
查询后台任务管理中的指定记录 功能介绍 查询后台任务管理中的指定记录。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述