检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IPv4 9092 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(明文接入)。 入方向 TCP IPv6 9192 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(关闭SSL加密)。 入方向 TCP IPv4
后在控制台的“用户管理”页面,获取用户名。 如果需要对指定客户端进行流量控制,请在客户端配置中获取client ID。 如果需要对指定Topic进行流量控制,请在控制台的“Topic管理”页面,获取Topic名称。 创建用户/客户端流控 登录管理控制台。 在管理控制台左上角单击,选择区域。
消息重试 支持 不支持 3.8.35版本:不支持。 AMQP-0-9-1版本:支持。 消费模式 支持客户端主动拉取和服务端推送两种方式。 客户端主动拉取。 支持客户端主动拉取和服务端推送两种模式。 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
为什么不建议使用Sarama客户端收发消息? 问题现象 使用Sarama客户端收发消息可能存在以下问题: Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为
即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需
您可以从地区和终端节点获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取,例如“管理员创建IAM用户”API的resource-path为“/v3
消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。 消费者被服务端认为异常从而被踢出消费组的场景如下:
Connect任务的基本信息、源端信息和目标端信息。 如果Smart Connect任务没有配置源端信息/目标端信息,在Smart Connect任务详情页面不显示源端信息/目标端信息。 删除Smart Connect任务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来
SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费
false:未开启 management_connect_address String Kafka实例的Kafka Manager连接地址。 ssl_enable Boolean 是否开启安全认证。 true:开启 false:未开启 enterprise_project_id String
false:未开启 management_connect_address String Kafka实例的Kafka Manager连接地址。 ssl_enable Boolean 是否开启安全认证。 true:开启 false:未开启 enterprise_project_id String
kafka.2u4g.cluster.small,三个代理 Kafka客户端连接数在6000以内,消费组个数在45个以内,业务TPS为60000以内时推荐选用。 kafka.2u4g.cluster,三个代理 Kafka客户端连接数在6000以内,消费组个数在60个以内,业务TPS为90000以内时推荐选用。
作API的权限。Token可通过调用获取用户Token接口获取。 云服务存在两种部署方式:项目级服务和全局级服务。其中: 项目级服务需要获取项目级别的Token,此时请求body中auth.scope的取值为project。 全局级服务需要获取全局级别的Token,此时请求body中auth
插件名称非法 请检查插件名称是否在插件列表中 400 DMS.00400971 The instance ssl is off. 实例未开启ssl。 请检视实例详情,是否开启ssl。 400 DMS.00400975 Failed to query topics. 查询topic失败。
size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 开启同步复制后,需要在客户端配置acks=all或者-1,否则无效。 修改Topic配置 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 例如,通过API接口获取磁盘容量使用率监控指标信息,可参考API接口-查询监控数据。
size变大16倍时,客户端消息生产速率增加,服务端CPU消耗减少。 同AZ生产和跨AZ生产相比,客户端消息生产速率增加,服务端CPU消耗也随之增加。 副本从1变成3时,客户端消息生产速率下降较多,服务端CPU消耗增加。 异步复制的Topic和同步复制的Topic相比,客户端消息生产速率增加,服务端CPU消耗也随之增加。
路径参数 参数 是否必选 参数类型 描述 engine 是 String 消息引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名称。 表2 Query参数 参数