检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks 表1
SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 调用方法 请参见如何调用API。 URI PUT /v2/kafka/{project_id}/instances/{instance_id}/groups/
查询实例的后台任务列表 功能介绍 查询实例的后台任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询所有实例列表 功能介绍 查询租户的实例列表,支持按照条件查询。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 约束与限制 消息删除后无法恢复,请谨慎操作。 前提条件 删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或
批量添加或删除实例标签 功能介绍 批量添加或删除实例标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/{instance_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
查询可用区信息 功能介绍 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v2/available-zones 请求参数 无 响应参数 状态码:200 表1 响应Body参数 参数 参数类型 描述 region_id
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成
由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414 Request-URI Too Large 请求的URI过长(URI通常为网址),服务器无法处理。 415 Unsupported
消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max
分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时,发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据,同步到另一个Kafka实例中 06:41 两个Kafka实例的数据复制 分布式消息服务Kafka版 介绍如何修改Topic分区平衡
16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录,以减少请求次数。这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。
到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?
a进行生产,会占用源端和目标端Kafka的带宽。 出于性能考虑,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址
以给实例添加20个标签。 支持区域: 全部 如何管理标签? 监控 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标。 支持区域: 全部 监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace
运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何连接和查看Kafka Manager? 通过公网如何连接Kafka实例? 为什么云监控页面无法展示Kafka监控数据? 为什么限制Topic的总分区数?