-
查看Kafka流控统计 - 分布式消息服务Kafka版
%的用户/客户端/Topic,x由您自行输入 统计类型 设置流控的统计类型。 生产:统计生产消息的流控 消费:统计消费消息的流控 统计维度 设置流控的统计维度。 User/Client:统计用户/客户端的流控 Topic:统计Topic的流控 图1 查询流控的参数 单击“查询”,查看每个代理上用户/客户端/Topic的流控使用量。
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
并等待消息老化,减少迁移数据,加快迁移速度,分区平衡任务结束后可重新调整为初始值。 确保分区平衡的目标Broker磁盘容量充足,在磁盘存储统计中查看每个Broker的可用磁盘容量。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量,为了给目标Broker上
-
Kafka监控显示消息堆积数跟实例里的消息数不一致? - 分布式消息服务Kafka版
致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题: 监控告警问题
-
与其他云服务的关系 - 分布式消息服务Kafka版
可以为不同的用户设置不同的访问Kafka实例的权限,以达到不同用户之前的权限隔离。 云监控(Cloud Eye) 云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP(Elastic IP)
-
认证证书 - 分布式消息服务Kafka版
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
监控周期(原始指标) current_partitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 单位:Count 0~100000 Kafka实例 1分钟 current_topics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 单位:Count 0~100000
-
Kafka Manager概述 - 分布式消息服务Kafka版
进行分区副本的重分配(不建议用户操作)。 Consumers: 统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。 图3 集群信息页 集群所有代理统计页 单击功能导航栏中的Brokers,即可进入代理统计页。如图4所示。 图中①区域代理列表,包含总的字节流入和字节流出。
-
申请扩大Kafka配额 - 分布式消息服务Kafka版
申请扩大Kafka配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。
-
费用账单 - 分布式消息服务Kafka版
选择“明细账单”,在筛选条件中选择“资源ID”,并输入3复制的资源ID,按“Enter”即可搜索该资源的账单。 图3 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
-
配置流控 - 分布式消息服务Kafka版
配置流控 配置Kafka流控 查看Kafka流控统计
-
配置Kafka监控告警 - 分布式消息服务Kafka版
分区数 实例 告警阈值:原始值>分区数上限的90%,不同实例规格分区数上限不同,具体参考产品规格。 连续触发次数:1 告警级别:重要 该指标用于统计Kafka实例中已经使用的分区数量。 出现该告警时,如果业务后续还需要新增Topic,则需要修改实例基准带宽/代理个数或将业务拆分至多个实
-
查看Kafka磁盘使用量 - 分布式消息服务Kafka版
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 图1 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx
-
典型应用场景 - 分布式消息服务Kafka版
具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,这样主业务流程无需同步等
-
生产或消费消息时,报Topic {{topic - 分布式消息服务Kafka版
生产或消费消息时,报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}}
-
责任共担 - 分布式消息服务Kafka版
的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责
-
Kafka相关概念 - 分布式消息服务Kafka版
该消息。 消费者(Consumer) 从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
Go客户端 05 实践 Kafka作为一款热门的消息队列中间件,广泛应用于企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域。 实践场景 使用MirrorMaker跨集群数据同步 如何设置消费组可消费消息数超过阈值时,发送告警短信/邮件 06 API
-
错误码 - 分布式消息服务Kafka版
请检查操作是否符合要求 400 DMS.10240041 You can only filter or count tags. 只能支持过滤或者统计的操作。 请检查操作是否符合要求 400 DMS.10240042 The number of records on each page for
-
Kafka连接问题排查和解决 - 分布式消息服务Kafka版
出现下图的错误信息: 解决方案:用户重新创建Topic或者打开自动创建Topic开关。 Go客户端常见报错 使用GO客户端无法连接Kafka SSL,报“first record does not look like a TLS handshake”错误。 解决方案:go默认是关闭的,202
-
快速连接Kafka并生产消费消息 - 分布式消息服务Kafka版
配置环境变量以及下载Kafka开源客户端。 本文以Linux系统的ECS为例,Windows系统ECS的JDK安装与环境变量配置可自行在互联网查找相关帮助。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的操作步骤,请参考购买弹性云