检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。 Smart Connect代理的监控指标包括:磁盘容量使用率、内存
消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max.poll.interval.ms时间内消费者没有发起下一次消费请求,br
r。 单击“分布式消息服务 DMS”,进入“资源详情”页签。 在待查看告警规则的Kafka实例所在行,单击“更多 > 查看告警规则”,弹出“查看告警规则”对话框,查看此Kafka实例的所有告警规则。 父主题: 查看监控指标与配置告警
Topic中消息较少或者没有消息时,连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 解决方案 在开了多个线程同时访问的情况下,如果Topic里已经没有消息了,其实不需要所有的线程都在poll,只需要有一个线程poll各分区
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。 在pom.xml文件中引入spring-kafka依赖
Service) 云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 当前CTS记录的操作,请参考云审计日志。 虚拟私有云(Virtual Private Cloud) Kafka实例运行
删除指定的实例 功能介绍 删除指定的实例,释放该实例的所有资源。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
成续费。 在费用中心续费 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。
Kafka实例是否支持查看单个Topic占用磁盘空间? 支持。通过以下任意一种方法,查看单个Topic占用磁盘空间大小。 在Kafka实例名称所在行,单击“查看监控数据”,跳转到云监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列
取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口 Topic名称 从Kafka实例控制台
如何调用API。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由
一般系统预装了Python,您可以在命令行输入python或者python3,查看Python是否已经安装。python命令只能查询Python 2.x版本,python3命令只能查询Python 3.x版本,如果无法确认Python版本,请分别输入两个命令查看结果。 以Python 3.x为例,得到如下回显,说明Python已安装。
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 source_type 是 String 源数据类型,目前只支持BLOB。
目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DMS for Kafka时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:I
0版本停售公告 华为云计划于2023/05/05 00:00(北京时间)停售分布式消息服务Kafka版2.3.0版本。 下线范围 下线区域:所有区域 下线影响 该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。 如您有任何问题,可随时通过工单或者
删除指定实例 当前页面API为历史版本API,未来可能停止维护。请使用删除指定的实例。 功能介绍 删除指定的实例,释放该实例的所有资源。 URI DELETE /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数
切换到Kafka控制台,单击实例名称,进入实例详情页。 在左侧导航栏单击“消息查询”,进入消息查询页面。 在“Topic名称”中选择“topic-logstash”,单击“搜索”,查询消息。 图6 查询消息 从图6可以看出,Logstash的Kafka output Plugin
续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。 Kafka实例在到期前续费成功,所有资源得以保留,且Kafka实例的运行不受影响。Kafka实例到期后的状态说明,请参见到期后影响。 续费相关的功能 包年/包月Kafka实例续费相关的功能如表1所示。
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实