检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
Integration Plugin与Kafka客户端的版本对应关系如表1所示。请确保Kafka客户端版本大于或等于Kafka实例的版本。 表1 版本对应关系 Logstash版本 Kafka Integration Plugin版本 Kafka客户端版本 8.3~8.8 10.12.0 2.8
消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 检查成功后,在页面上方显示“预检查成功”,并显示内存使用率、CPU利用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 图2 诊断前检查 “消息积压情况”显示无消息积压时,无法进行消息积压诊断。显示有
查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例 删除Kafka实例 管理Kafka Manager
云监控服务不需要开通,会在您创建Kafka实例后自动启动。相关文档请参见Kafka支持的监控指标。 使用最新版本SDK获得更好的操作体验和更强的安全能力 建议您升级SDK并使用最新版本,从客户侧对您的数据和Kafka使用过程提供更好的保护。最新版本SDK在各语言对应界面下载,请参见SDK概述。
为Kafka实例添加标签,可以方便用户识别和管理拥有的实例资源。 VPC终端节点(VPC Endpoint) 客户端和Kafka实例在同一区域的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现客户端通过内网访问Kafka实例。 NAT网关(NAT Gateway) 使用NA
容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
Manager上支持修改Topic的哪些属性? Kafka Manager和云监控显示的信息不一致 Kafka Manager如何修改Topic的分区Leader? 实例版本在控制台和Kafka Manager上显示不一致? 为什么实例中存在默认名为__trace和__consumer_offsets的Topic?
连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
threads、num.replica.fetchers)过多,导致CPU繁忙。 分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。
新规格描述。 在创建实例中,新增“broker_num”参数。 2022-01-26 本次变更如下: 查询产品规格列表V2接口变更为新版本,旧版本接口移入历史API中。 2021-12-14 本次变更如下: 在权限和授权项中,将授权项明细接口从V1改为V2。 2021-09-13
high.v2" } name:实例名称,由您自行定义。 engine:消息引擎,设置kafka。 engine_version:消息引擎的版本。 broker_num:代理个数。 storage_space:消息存储空间,单位GB。具体取值范围,请参考创建实例。 vpc_id:K
被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 请求成功。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。 203
区都有资源,如果不为空,则表示字段值的可用区没有资源。所以必须确保您购买的资源所在的可用区有资源,不在该字段列表内。 当前页面API为历史版本API,未来可能停止维护。请使用查询产品规格列表。 URI GET /v2/products 表1 Query参数 参数 是否必选 参数类型
批处理消息最大值 Kafka允许的最大批处理大小,如果启用消息压缩,则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 修改Topic配置
00400053 the upgrade instance version equals to current version. 升级版本与当前版本相同 请重新选择升级的版本号 400 DMS.00400055 Resource sold out. 资源不足,包括ecs,volume等 请稍后再试
此时会导致数据重复复制,且目标Topic消费进度异常。 图1 复制数据规则配置 (可选)在页面右下角单击“开始检测”,测试两端Kafka实例的连通性。 显示“连通性检测成功”时,表示两端Kafka实例可以正常连接。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。
2022年5月16号及以后购买的实例,支持此监控项。 >=0 Kafka实例节点 1分钟 network_bandwidth_usage 网络带宽利用率 网络带宽利用率。 单位:% 仅部分实例支持此监控项,具体如下: 2023年7月9号及以后购买的实例,支持此监控项。 2023年7月9号前购买的
来时间导致消息无法老化。 尽量复用producer,不要频繁创建producer。当producer开启幂等时(生产者客户端3.0及之后的版本默认开启幂等),生产消息会在服务端创建生产者状态对象,若频繁创建producer,会导致服务端创建大量生产者状态对象后无法及时回收,服务端
时间以及消息正文。 支持区域: 全部 如何查询消息? Kafka Manager管理 Kafka Manager是开源的Kafka集群管理工具,您可以通过浏览器访问Kafka Manager。在Kafka Manager页面,您可以查看Kafka集群的监控、节点等信息。 支持区域: