检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置。 重置Manager密码成功,界面提示重置实例的密码成功。 重置Manager密码失败,界面提示重置实例的密码失败,请重新尝试重置密码操作。如果多次重置失败,请联系客服处理。 只有所有代理都重置密码成功,系统才会提示重置密码成功,否则会提示重置失败。 父主题: 管理Kafka
broker_disk_read_await 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。 单位:ms 说明: 2020年6月及以后购买的实例,支持此监控项。 >0 Kafka实例节点 1分钟 broker_disk_write_await 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。
Preferred Replica Election:强制进行一次队列leader的最优选举(不建议用户操作)。 Reassign Partitions:进行分区副本的重分配(不建议用户操作)。 Consumers:统计集群中的消费组状态。 图中②区域表示集群信息统计,包含集群的Topic数和集群的代理数。
北京四区域) 变更配置后对计费的影响 当前包年/包月Kafka实例资源的规格不满足您的业务需要时,您可以在Kafka实例控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 资源降配:新配置价格低于
获取项目ID 操作场景 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式: 调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET ht
保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。
消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。 消费组订阅的Topic分区数发生变化。 重平衡日志记录Rebalance的详情,包括Re
生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集
性能和吞吐量较低,适用于一些对性能要求不高的简单应用场景。 Sarama Sarama采用原生Golang语言编写,对于异步以及高并发操作支持度较好。 问题较多,文档相对较少。 Sarama在处理大量消息时,会占用较多的内存资源,可能会对应用程序的性能造成一定的影响。 父主题:
已创建Kafka实例,并且消费组正在以非assign方式消费消息中。 一个消费组正在诊断中时,无法对其他消费组进行诊断,也无法对此消费组消费的其他Topic进行诊断。 操作流程 图1 消息积压诊断流程图 步骤一:诊断前检查 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的Kafka实例,单击操作列“开通自动续费”。 图2 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的Kafka实例,单击列表左上角的“开通自动续费”。
请参见续费概述。 费用账单 您可以在“费用中心 > 账单管理”查看与Kafka实例相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,需要及时充值。详细介绍请参见欠费说明。
在实例所在行,单击实例名称,进入实例详情页面。 在左侧导航栏单击“标签”,进入标签管理页面。 界面显示该实例的标签列表。 您可以根据实际需要,执行以下操作: 添加标签 单击“创建/删除标签”,弹出“创建/删除标签”对话框。 在“标签键”和“标签值”中,输入标签的键/值,单击“添加”。 如果您
Kafka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。
需计费资源执行任何操作。 保留期内未支付欠款,资源释放且无法恢复 保留期到期后,若您仍未支付账户欠款,那么Kafka实例将被释放,数据无法恢复。释放的实例会被彻底删除,不会进入回收站。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 回收站计费策略
分区副本不可读写,降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点,会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数(num.io.threads、num.network.threads、num.replica.fetchers)过多,导致CPU繁忙。
Kafka客户端和Kafka实例属于不同账号时,将Kafka客户端所在账号的ID添加到终端节点服务的白名单中,完成跨账号终端节点的访问授权,具体操作步骤请参考添加白名单。 步骤三:购买终端节点 在管理控制台左上角单击,选择“网络 > VPC终端节点”,进入终端节点页面。 单击“购买终端节点”,进入“购买终端节点”页面。
安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压,有如下文件: 表1 Kafka Demo文件清单 文件名 路径 说明 DmsConsumer.java
自动平衡修改副本数和使用手动平衡修改副本数。 单机实例不支持修改副本数。 操作影响 对数据量大的Topic进行分区平衡,会占用大量的网络和存储带宽,业务可能会出现请求超时或者时延增大,建议在业务低峰期时操作。对Topic进行分区平衡前,根据Kafka实例规格对比当前实例负载情况,
在待修改的定时升级任务后,单击“修改”。 在弹出的“修改定时任务”对话框中,您可以修改定时升级任务的时间,还可以取消定时升级任务,具体操作如下。 修改定时升级任务的时间:修改时间,单击“确定”。 取消定时升级任务:选择“取消”,单击“确定”。 父主题: 管理实例