检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MirrorMaker配置参数 参数名 默认值 说明 sync.topic.configs.enabled true 是否监控源集群的配置更改 sync.topic.acls.enabled true 是否监控源集群ACL的更改 emit.heartbeats.enabled true 连接器应定期发出心跳
实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有DMS for Kafka的使用权限,但是不希望他们拥有删除Kafka实例
ms 99.9th. 客户端消息生产速率=102399 登录Kafka实例控制台,单击测试实例名称,进入实例详情页。 在左侧导航栏单击“监控”,进入监控页面。 在“节点”页签,查看服务端节点的CPU使用率。 图1 broker-0的CPU使用率(batch.size=1KB) CPU消耗=58
本的生产数据量,数据量越大,所需时间越久。升级总耗时=每个节点升级软件包耗时+数据同步耗时。 升级过程中会逐个节点重启监控进程,导致监控数据断点,重启成功后,监控数据恢复。 升级过程中节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leade
载证书,并在客户端配置文件中设置连接信息。 步骤一:准备工作 注册华为账号并实名认证。 在创建Kafka实例前,请先注册华为账号并实名认证,具体步骤请参考注册华为账号并开通华为云和实名认证介绍。 如果您已有一个华为账号并实名认证,请跳过此步骤。 为账户充值。 在创建Kafka实例
在大型业务系统设计中,为了快速定位问题,全链路追踪日志,以及故障及时预警监控,通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景,应用通过异步方式将日志消息同步到消息服务,再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分:日
组的其他消费者阻塞session.timeout.ms的时间。 消费组名称开头不使用特殊字符(如#),使用特殊字符可能会导致云监控无法展示此消费组的监控数据。 producer使用建议 同步复制客户端需要配合使用:acks=all 配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger
分区平衡,CPU使用率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保不会对该实例上的其他Topic造成流量
本章节描述了CPU使用率高和磁盘写满的原因,以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因,以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消息堆积数超过阈值的告警规则,实现消息堆积数超过阈值时,系统自动发送短信/邮件通知用户,让用户能够实时掌握业务的运行情况。
配置文件中指定了消费组名称,请确保命令行中的消费组名称与配置文件中的相同,否则可能消费失败。消费组名称开头包含特殊字符,例如#号“#”时,监控数据无法展示。 示例如下: [root@ecs-kafka bin]# ./kafka-console-consumer.sh --bootstrap-server
与RabbitMQ、RocketMQ的差异 表1 功能差异 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 3.8.35版本:支持。建议优先级大小设置在0-10之间。 AMQP-0-9-1版本:支持。优先级大小设置在1-9之间。 延迟队列 支持
生命周期管理 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 父主题: API V2(推荐)
消费组管理 查询消费组信息 查询所有消费组 Kafka实例批量删除消费组 创建消费组 重置消费组消费进度到指定位置 查询消费组消息位点 修改所有消费组 查询指定消费组 删除指定消费组 修改指定消费组 查询指定消费组的topic 查询指定消费组的消费成员 父主题: API V2(推荐)
历史API API V1 API V2
附录 状态码 错误码 实例状态说明 获取项目ID 获取账号名和账号ID
实例状态说明 表1 实例状态说明 状态 说明 CREATING 申请实例后,在实例状态进入运行中之前的状态。 RUNNING 实例正常运行状态。在这个状态的实例可以运行您的业务。 ERROR 实例处于故障的状态。 RESTARTING 实例正在进行重启操作。 STARTING 实例从已冻结到运行中的中间状态。
用户管理 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 父主题: API V2(推荐)
后台任务管理 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 父主题: API V2(推荐)
Smart Connect 开启Smart Connect(按需实例) 关闭Smart Connect(按需实例) 创建Smart Connect任务 查询Smart Connect任务列表 查询Smart Connector任务详情 删除Smart Connector任务 暂停Smart