检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。
不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行,单击“编辑”。 在“编辑Topic”对话框中,输入分区数,单击“确定”。 分区数只支持增加,不支持减少。 出于性能考虑,Kafka控制台限定单个Topic的分区数上限为200。
规格变更管理 实例扩容 查询实例的扩容规格列表 父主题: API V2(推荐)
ic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图1 查看每个Topic的总堆积数 如果Kafka实例开启SASL认证,则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数: --command-config {SASL认证的consumer
查看资费变更的相关信息,确认无误后单击“到期转按需”。 在费用中心转按需 进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 设置包年/包月资源到期后转按需。
如果您需要长期使用当前按需购买的Kafka实例,可以将该Kafka实例转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。 假设用户于2023/04/18 15:29:16购买了一个按需计费的Kafka实例,由于业务需要,于2023/04/18
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。
会使用33GB的磁盘作为日志和Zookeeper数据的存储,因而实际可用存储会小于购买存储。 其中,副本数在创建Topic时可以选择,默认为3副本存储。如果开启了Kafka自动创建Topic功能,自动创建的Topic默认为3副本,副本数可以通过“配置参数”页签中的“default
在“节点”页签,查看服务端节点的CPU使用率。 图7 broker-0的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=58.10% 图8 broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中)
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
变更计费模式 变更计费模式概述 按需转包年/包月 包年/包月转按需
通过以下几个场景,测试不同实例规格的TPS。 测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL 测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic 测试场景三(是否同步落盘):相同的实例,不同落盘机制的Topic 测试场景四(不同
与其他云服务的关系 云审计(Cloud Trace Service) 云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 当前CTS记录的操作,请参考云审计日志。 虚拟私有云(Virtual
问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
String 存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径,默认可以不填。 取值范围:英文字母、数字、下划线、中划线和斜杠,最大长度为64个字符。 默认配置为空。 partition_format 是 String 将转储文件的生成时间使用“yyy
String 实例绑定的弹性IP地址的ID。 以英文逗号隔开多个弹性IP地址的ID。 当oper_type类型是horizontal时,该参数必填。 tenant_ips 否 Array of strings 指定的内网IP地址,仅支持指定IPv4。 指定的IP数量只能小于等于新增节点数量。
修改转储任务的配额 功能介绍 修改转储任务的配额。 2022年9月前创建的实例支持调用此接口新增转储任务配额,2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题