检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输,提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时,您可以使用分布式消息服务Kafka版提供的证书
afka实例列表页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”,导出全部实例列表。 父主题: 管理实例
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 表1 单机实例和集群实例的差异说明
信息。 集群信息页 单击Clusters中的集群列表,即可进入集群信息页。如图3所示。 图中①区域表示功能导航栏。 Cluster:集群,统计集群列表和集群详情。 Brokers:代理,统计当前集群中各代理的状态信息。 Topic:队列,统计当前集群中的kafka队列。 Preferred
Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改?
创建的Kafka实例是集群模式么? Kafka实例分为单机实例和集群实例,单机实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 父主题: 实例问题
变更Kafka集群实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容
(ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。
消息(即单条消息超过20KB)或时间跨度大的消息时,建议将消息下载到本地,在本地进行关键字查询。 创建时间 设置待查询消息的时间范围。 说明: 当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 表2 按偏移量查询消息
际是没有待同步的Kafka数据,但是Kafka数据同步监控指标使用的是包含老化数据的offset值,“待同步Kafka数据量”会显示老化的消息数。 维度 Key Value kafka_instance_id Kafka实例 kafka_broker Kafka实例节点 kafka_topics
String 消费组ID。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
重置密码 重置Manager密码 重启Manager 开启或关闭实例自动创建Topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询Topic的磁盘存储情况 Kafka实例开始分区重平衡任务
费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有消费者同步完最新的元数据后,服务
积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。 在云监控页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。
务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
2019-12-10 新增以下接口: 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区
中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB)
Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因,以及处理措施。
总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB)