检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。 可以在生产者端配置“compression
nces/{instance_id} { "name": "dms002", "description": "instance description" } 示例2 PUT https://{dms_endpoint}/v1.0/{project_id
本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io 参数 参数类型 描述
是否支持跨Region访问? Kafka可以跨Region访问,但是跨Region目前只能通过公网访问或者拉专线的方式。 父主题: 连接问题
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务(Identity and Access
下线区域:所有区域 下线影响 该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。 如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。 常见问题 已经购买Kafka 2.3.0的用户能否继续使用?Kafka
XT。 PlainText:客户端通过明文连接Kafka实例。 SASL_SSL:客户端通过密文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 SASL_PLAINTEXT:客户端通过明文连接Kafka实例,且连接时需要
任务ID的格式无效。 请检查任务ID 400 DMS.00400077 Insufficient IPs in the selected subnet. 所选择的子网中可用ip数量少于所需ip数量。 选择其他ip数量充足的子网。 400 DMS.00400081 Duplicate instance
Topic未设置老化时间时,此参数才对此Topic生效。 1 ~ 168 单位:小时 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout
consumers_count Integer 消费者总数。 表4 brokers参数说明 参数 类型 说明 host String 节点IP。 port Integer 端口号。 broker_id String 节点id。 is_controller Boolean 是否为contoller节点。
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时,通过短信/邮件及时收到通知信息,可以参考本章节设置告警通知。您还可以参考本章节为分布式消息服务Kafka版的其他监控指标设置告警通知。 前提条件
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问: 创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
分布式消息服务Kafka版计费概述 通过阅读本文,您可以快速了解分布式消息服务Kafka版的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。包年/包月是一种预付费模式,即先付费再使
消息被消费后,没有删除,导致Kafka存储空间占满? 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。 您可以通过减小老化时间或者扩容存储空间,解决此问题。 父主题: Topic和分区问题