检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2019-12-10 新增以下接口: 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区
https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects": [ {
SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,username和password为SASL的用户名和密码,参考“收集连接
对端Kafka认证方式。(仅源端类型为Kafka需要填写) 支持以下两种认证方式: SASL_SSL:表示实例已开启SASL_SSL。 PLAINTEXT:表示实例未开启SASL_SSL。 direction 否 String 同步方向;pull为把对端Kafka实例数据复制到当前K
服务检索日志,或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具,Hadoop表示大数据分析系统。
示) target_db Integer 目标数据库,默认为-1。(仅目标端类型为Redis时会显示) consumer_strategy String 转储启动偏移量,latest为获取最新的数据,earliest为获取最早的数据。(仅目标端类型为OBS时会显示) destination_file_type
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
BadRequest 非法请求。 建议直接修改该请求,不要重试该请求。 401 Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。
2023年2月 控制台支持客户端、Topic级别生产消费流量控制 1.1.0和2.7 2022年12月 实例支持SCRAM-SHA-512鉴权认证 1.1.0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制 实例支持配置磁盘容量阈值策略
ssl_enable为false时,该参数无效。 认证用户名,只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 password String 否 当ssl_enable为true时,该参数必选, ssl_enable为false时,该参数无效。 实例的认证密码。 复杂度要求: 输入长度为8到32位的字符串。
data 待同步Kafka数据量 Kafka任务的待同步数据量。 单位:Count ≥ 0 Kafka实例的Smart Connect任务 1分钟 kafka_synchronize_rate Kafka每分钟同步数据量 Kafka任务每分钟同步的数据量。 单位:Count ≥ 0
磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题: 监控告警问题
nfig.properties”文件,在文件中增加如下内容。 security.protocol=SASL_PLAINTEXT #SASL认证机制为“SCRAM-SHA-512”时,配置信息如下。 sasl.jaas.config=org.apache.kafka.common.security
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
Kafka实例规格 Kafka单机实例 Kafka集群实例
Topic和分区问题 Kafka实例的Topic数量是否有限制? 为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 为什么删除Topic不生效?删除后该Topic仍然存在
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : p
Topic管理 查看Kafka Topic详情 修改Kafka Topic配置 修改Kafka Topic分区数 修改Kafka Topic副本数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
管理实例 查看和修改Kafka实例基本信息 查看Kafka磁盘使用量 查看Kafka实例后台任务 查看Kafka生产消费示例代码 修改Kafka实例配置参数 配置Kafka实例标签 配置Kafka实例回收站策略 升级Kafka实例内核版本 导出Kafka实例列表 重启Kafka实例