检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka提供跨AZ类型实例,支持跨AZ容灾,当一个AZ异常时,不影响Kafka实例持续提供服务。 AZ内实例容灾 同一个AZ内,Kafka实例通过副本冗余方式实现实例容灾,当检测到leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构
倍,消息体越小,这个比例越大。建议隔一定条数或时间,批量commit,或打开enable.auto.commit,这样设置会存在一个缺点,即在客户端故障时,可能丢失一部分缓存的消费进度,导致重复消费。请根据业务实际情况,设置批量commit。 consumer不能频繁加入和退出g
deleteDMSInstanceTaskFailure 批量删除DMS实例任务 kafka batchDeleteDMSInstanceTask 提交批量删除DMS实例请求成功 kafka batchDeleteDMSInstanceSuccess 批量删除DMS实例任务执行成功 kafka b
查询Topic、修改Kafka实例Topic、Kafka实例批量删除Topic、查询Topic的分区列表、查询Topic的当前生产者列表、查询Kafka实例Topic详细信息。 用户管理 包括查询用户列表、创建用户、批量删除用户、重置用户密码、修改用户参数、查询用户权限、设置用户权限。
租户不需要单独采购硬件资源,直接使用就绪的服务,无需额外成本。 需要购买硬件资源,自行搭建整个消息服务,使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随
实例管理类接口 创建Kafka实例 查询指定实例 修改实例信息 删除指定实例 批量重启、删除实例 查询所有实例列表 Kafka实例创建Topic Kafka实例查询Topic Kafka实例批量删除Topic 父主题: API V1
因此,本手册以同一VPC内子网地址的方式,介绍客户端开发环境搭建。 遇到连接超时或失败时,请注意确认网络是否连通。可使用telnet方式,检测实例连接地址与端口。
为什么限制Topic的总分区数? Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办? Kafka实例的ZK地址是什么?能否直接连接? 为什么Console页面上,消息查询查不到消息? 为什么实例可用区不能选择2个? 更多 实例问题 Kafka实例的ZK地址是什么
n的一个请求。 较小的批量处理数值比较少用,并且可能降低吞吐量(0则会仅用批量处理)。较大的批量处理数值将会浪费更多内存空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如
当重复收到已处理过的消息,消费者需要告诉分布式消息服务Kafka版消费成功且保证不重复处理。 消息可以批量生产和消费 为提高消息发送和消息消费效率,推荐使用批量消息发送和消费。 图1 消息批量生产与消费 图2 消息逐条生产与消费 此外,批量消费消息时,消费者应按照接收的顺序对消息进行处理、确认,当对某一条消息处
标签管理 批量添加或删除实例标签 查询实例标签 查询项目标签 父主题: API V2(推荐)
诊断管理 消息积压诊断预检查 创建消息积压诊断任务 查询消息积压诊断报告列表 批量删除消息积压诊断报告 查询诊断报告详情 父主题: API V2(推荐)
手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图2 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图3 批量续费 选择Kafka实例的续费时长,判断是否勾选“统一到期日”,将Kafka实例到期时间统一到各个月
用户管理 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 父主题: API V2(推荐)
当前生产者列表接口。 2023-06-06 本次变更如下: 新增创建消费组接口。 2023-04-23 本次变更如下: 新增Kafka实例批量删除Group接口。 2023-02-03 本次变更如下: 更新创建实例、实例规格变更和查询实例的扩容规格列表的URI,支持实例新规格。 2022-06-30
生命周期管理 创建实例 查询所有实例列表 查询指定实例 删除指定的实例 修改实例信息 批量重启或删除实例 获取实例配置 修改实例配置 实例升级 父主题: API V2(推荐)
主题管理 Kafka生产消息 Kafka实例创建Topic Kafka实例查询Topic 修改Kafka实例Topic Kafka实例批量删除Topic 查询Topic的分区列表 查询Topic的当前生产者列表 查询Kafka实例Topic详细信息 父主题: API V2(推荐)
Kafka实例的Topic数量是否有限制? 为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 为什么删除Topic不生效?删除后该Topic仍然存在 Kafka实例是否支持查看单个Topic占用磁盘空间?
解决方案:用户重新创建Topic或者打开自动创建Topic开关。 Go客户端常见报错 使用GO客户端无法连接Kafka SSL,报“first record does not look like a TLS handshake”错误。 解决方案:go默认是关闭的,2021年1月前创建的实例,需要打开TLS_
查询消费组信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 查询topic的磁盘存储情况 查询所有消费组 Kafka实例批量删除消费组 创建消费组 编辑消费组 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置