检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。
如果您持有多台到期日不同的Kafka实例,可以将到期日统一设置到一个日期,便于日常管理和续费。 图5展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图5 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : p
enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 如果在配置参数中设置“auto.create.groups.enable”为“false”,在消费消息前,需要先创建消费组,否则会导致消费失败。 如果在配置参数中设置“auto.create.groups.enable”为“true
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
partition Integer topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush
定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 L
检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错
低。 partition 否 Integer topic分区数,设置消费的并发数。取值范围:1-200。 sync_replication 否 Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 retention_time
对端Kafka开启SASL_SSL时设置的用户名,或者创建SASL_SSL用户时设置的用户名。(仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写) password 否 String 对端Kafka开启SASL_SSL时设置的密码,或者创建SASL_SSL用户时设置的密码。(
登录Kafka Manager的帐号是否可以设置为只读帐号? 不支持设置为只读帐号。 父主题: Kafka Manager问题
关闭Smart Connect(按需实例) 功能介绍 介绍按需实例如何关闭Smart Connect。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector
功能介绍 创建转储任务。 当前页面API为历史版本API,未来可能停止维护。请使用开启Smart Connect(按需实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 父主题: Topic和分区问题
看已经预定义的标签,或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考配置Kafka实例标签章节。 描述 设置实例的描述信息,长度为0~1024个字符。 表7 Topic参数值 参数名称 单机实例默认参数值
消息超过老化时间,消息仍存在的原因 问题现象:消息超过设置的老化时间(如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。),消息仍存在。
修改实例信息 功能介绍 修改实例信息。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
长度为0~255个字符(中文也可以输入255个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : = + - @ 创建实例时设置的标签值,首尾字符不能为空格。 配置Kafka实例标签 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。 所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,如图1,实例分区数上限参考表1。 图1 Topic的分区数
403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405