检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ms为间隔向broker发送心跳请求,如果broker在session.timeout.ms时间内没有收到消费者的心跳请求,broker会认为消费者异常,从而将其从消费组中踢出,然后开始新一轮的Rebalance。 消费者消费时间间隔过长。 消费者每次最多消费max.poll.records条消息,多数情况下客
开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。 回收站策略默认是关闭状态。 回收站功能仅在“华北-北京一”、“华北-北京四”、“华东-上海一”和“华南-广州”上线。 约束与限制 回收站中的按需实例不
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
创建用户/客户端流控 表1 流控参数说明 参数名称 说明 用户名 输入前提条件中获取的用户名,对此用户进行流控。如果需要对所有用户进行流控,在“用户名”后,单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入前提条件中获取的客户端ID,对此客户端进行流控。如果需要对所有客户端进
查询所有实例列表 功能介绍 查询租户的实例列表,支持按照条件查询。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创建Topic时,使分区的Leader副本分散到各个Broker节点中,以保障整体的数据均衡。 Kafka提供了分区重平衡的功能,可以把分区的副本重新分配到不同的Broker节点上,
7版本,适用于测试场景,不建议用于生产业务。 TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 +
分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。 在管理控制台左上角单击,选择区域。
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log.retention
Kafka实例的SASL_SSL开关如何修改? 集群实例的SASL_SSL开关支持修改,具体步骤请参考修改实例的接入方式。 单机实例不支持SASL_SSL功能。 开启IPv6的实例不支持动态修改SASL_SSL开关。 父主题: 实例问题
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
Kafka是否支持Kerberos认证,如何开启认证? Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。
包年/包月转按需,需包年/包月资费模式到期后,按需的资费模式才会生效。 前提条件 Kafka实例计费模式为“包年/包月”。 Kafka实例状态为“运行中”。 在云服务控制台转按需 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,设置包年/包月资源到期后转按需。
Manager。 2023年5月17日及以后创建的实例不提供重置Kafka Manager密码功能。 前提条件 已创建Kafka实例,且实例处于“运行中”。 重置Kafka Manager密码 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
重置密码 功能介绍 重置密码(只针对开通SSL的实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/password 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估DMS for Kafka资源的安全状态,更好的组合使用DMS
或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。 本章节主要介绍如何开启Smart Connect。 单机实例不支持开启Smart Connect。 操作影响 开启Smart Connect后,实例需要另外收取用于Smart
本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。