检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
为什么Console页面上,消息查询查不到消息? 可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。
入门实践 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控
升级Kafka实例内核版本 升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。 升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前Kafka版本为2
修改Kafka Topic副本数 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。 通过修改分区平衡可以实现修改副本数,Kafka控制台提供两种修改副本数的方法:使用自动平衡修改副本数和使用手动平衡修改副本数。 约束与限制 单机实例不支持修改副本数。
修改Kafka分区平衡 分区平衡是指将分区的副本重新分配到不同的代理上,解决代理负载不均衡问题。 需要进行分区平衡的场景如下: 实例扩容代理个数后,新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均衡。通过修改分区平衡,将原有Topic分区的副本迁移到新代理上。
Kafka相关概念 华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
购买Kafka实例 Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 操作视频 本视频演示自定义购买Kafka实例的操作。 准备实例依赖资源 创建Kafka实例前,请提前准备好如表1所示资源。
查询单个转储任务 功能介绍 查询单个转储任务。 当前页面API为历史版本API,未来可能停止维护。请使用查询Smart Connector任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/connectors/{connector_i
查询所有消费组 功能介绍 查询所有消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
创建Smart Connect任务 功能介绍 创建Smart Connect任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/connector/tasks 表1 路径参数 参数 是否必选
Kafka单机实例 Kafka单机实例规格 Kafka单机实例由一个代理组成,兼容开源Kafka 2.7版本,适用于测试场景,不建议用于生产业务。 TPS(Transaction per second),在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。下表中TPS
查询指定消费组 功能介绍 查询指定消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group} 表1 路径参数 参数 是否必选 参数类型 描述 engine
功能总览 功能总览 全部 购买Kafka实例 连接Kafka Topic管理 变更实例规格 公网访问 消息查询 Kafka Manager管理 Smart Connect管理 用户管理 消费组管理 修改配置参数 标签 监控 审计 API 购买Kafka实例 您在使用分布式消息服务
查询Smart Connector任务详情 功能介绍 查询Smart Connector任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍包年/包月Kafka实例的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制,控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。 约束与限制 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。
快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程,以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例,客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例,帮助您快速上手Kafka。 图1 Kafka使用流程 准备工作
查询实例在CES的监控层级关系 当前页面API为历史版本API,未来可能停止维护。请使用查询实例在CES的监控层级关系。 URI GET /v1.0/dms/{project_id}/instances/{instance_id}/ceshierarchy 参数说明见表1。 表1
查询Smart Connect任务列表 功能介绍 查询Smart Connect任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/connector/tasks 表1 路径参数 参数 是否必选