检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现明显波动? 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题: 监控告警问题
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务(Identity and Access
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择区域。
骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kaf
SASL_SSL”的Kafka实例时,您可以使用分布式消息服务Kafka版提供的证书,也可以使用自己制作的证书。如果使用自己制作的证书,请参考本章节将分布式消息服务Kafka版提供的证书替换为自己的证书。 制作并替换证书为白名单特性,需要联系后台管理人员开通后方可使用。所有region都可以通过白名单开通此特性。
操作,请参考变更实例规格。 broker_memory_usage 内存使用率 节点 告警阈值:原始值>90% 连续触发次数:3 告警级别:紧急 该指标为Kafka节点虚拟机层面采集的内存使用率。 出现该告警时,需要修改实例基准带宽/代理个数,即扩节点。具体操作,请参考变更实例规格。
否,修改Windows服务器的VPC和子网,与Kafka实例一致。 检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。 是,执行3。 否,修改安全组配置。 在Kafka实例控制台,重启Kafka Manager,具体操作请参考重启Kafka Manager。
同。 未开启IPv6功能,开启/关闭IPv4公网访问的步骤请参考开启IPv4公网访问(支持修改明文/密文接入)和关闭IPv4公网访问(支持修改明文/密文接入)。 已开启IPv6功能,开启/关闭IPv4公网访问的步骤请参考开启IPv4公网访问(不支持修改SASL开关)和关闭IPv4公网访问(不支持修改SASL开关)。
1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
决于offsets.retention.minutes,offsets.retention.minutes支持在控制台修改,具体修改方法请参考修改配置参数。 2023年4月25日及之后创建的实例,分为以下几种情况: auto.create.groups.enable为false时
kafka.2u4g.single 1 30000 250 20 2000 100GB~10000GB 100 Kafka单机实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根
{ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Produc
enable”参数,具体以控制台为准,此时建议修改业务代码,使业务代码不再连接该消费组,然后再删除消费组。修改“auto.create.groups.enable”参数的方法请参考修改Kafka实例配置参数。 父主题: 消费组问题
修改安全组,不会重启实例。 页面右上角直接提示修改结果。 内网访问 修改方法请参考配置Kafka实例的明文/密文接入。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 公网访问 修改方法请参考配置Kafka实例的公网访问。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。
的重置密码的步骤有区别。 初始用户:在首次开启密文接入时设置的用户,如果忘记了密码,请参考重置用户密码(初始用户),重置密码。 非初始用户:在“用户管理”页面创建的用户,如果忘记了密码,请参考重置用户密码(非初始用户),重置密码。 重置密码须知 重置用户密码会导致业务中断,您需要
队列数据容量”查看,具体步骤请参考查看Kafka监控数据。 分区平衡前的准备工作 在不影响业务的前提下,适当调小Topic老化时间并等待消息老化,减少迁移数据,加快迁移速度,分区平衡任务结束后可重新调整为初始值。修改Topic老化时间的步骤,请参考修改Kafka消息老化时间。 确
使用对等连接跨VPC访问,访问端口为9093。 DNAT访问,访问端口为9011。 在访问Kafka实例之前,需要确保安全组是否配置正确,配置要求,请参考选择和配置安全组。 父主题: 实例问题
在左侧导航栏单击“Topic管理”,进入Topic列表页面。 在待生产消息的Topic所在行,单击“更多 > 生产消息”,弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。
消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。 生产者(Producer) 向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。