检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败? 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。
实例名称。 由英文字符开头,只能由英文字母、数字、中划线组成,长度为4~64的字符。 description String 否 实例的描述信息。 长度不超过1024的字符串。 说明: \与"在json报文中属于特殊字符,如果参数值中需要显示\或者"字符,请在字符前增加转义字符\,比如\\或者\"。
查询分区最新消息的位置 Kafka删除消息 后台任务管理 包括: 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 标签管理 包括: 批量添加或删除实例标签 查询实例标签 查询项目标签 诊断管理 包括: 消息积压诊断预检查 创建消息积压诊断任务 查询消息积压诊断报告列表
360000 1000000 结论:在Topic相同的情况下,生产消息到规格相同、接入方式不同的Kafka实例,未开启SASL的实例TPS高于开启SASL的实例TPS。 测试场景二(同步/异步复制):相同的实例(超高I/O、3个代理、未开启SASL),不同复制机制的Topic,生产者进程数为3时,测试结果如下:
扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为
副本数,配置数据的可靠性。 partition Integer topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。
broker Integer 副本所在的节点ID。 leader Boolean 该副本是否为leader。 in_sync Boolean 该副本是否在ISR副本中。 size Long 该副本当前日志大小。 lag Long 该副本当前落后hw的消息数。 响应示例 { "topic":
replication_factor 否 Integer 在对端实例中自动创建Topic时,指定Topic的副本数,此参数值不能超过对端实例的代理数。如果对端实例中设置了“default.replication.factor”,此参数的优先级高于“default.replication.fa
后台任务管理 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 父主题: API V2(推荐)
EOM:End of Marketing,停止该版本的销售。 EOS:End of Service & support,停止该版本的服务,建议您在执行作业时选择最新版本的引擎。在该日期之后,不再提供该软件版本的任何技术服务支持。 父主题: 版本公告
当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过
密码格式不符合要求。 密码复杂度要求: 1、输入长度为8到32位的字符串。 2、必须包含如下四种字符中的三种组合:小写字母、大写字母、数字、特殊字符包括(`~!@#$%^&*()-_=+\|[{}]:'",./?) 3、不能与校验的弱密码相同。 请确认密码是否符合要求 400 DMS.00400013
Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka ISR(in-sync replica)进行数据同步,Topic需要选择数据多副本并且将不同副本分布到不同的ISR上,在ISR正常同步状态下,故障RPO(Recovery
其他接口 查询可用区信息 查询产品规格列表 查询维护时间窗时间段 查询实例在CES的监控层级关系 查询实例在CES的监控层级关系 查询配额 父主题: API V1
不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格,请参见分布式消息服务Kafka版价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。
replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发
Connector任务详情 删除Smart Connector任务 暂停Smart Connect任务 启动已暂停的Smart Connect任务 启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 父主题: API V2(推荐)
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 创建成功,返回topic名称 错误码 请参见错误码。
Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
SL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用,生产与消费的API集,请参考Kafka官网。 客户端网络环境说明