检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议,
Kafka监控显示消息堆积数跟实例里的消息数不一致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: Kafka Manager问题
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 对于管理员创建IAM用户接口,返回如图1所示的消息头。 图1 管理员创建IAM用户响应消息头 响应消息体(可选)
删除Topic失败 问题现象 删除Topic不生效,删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。 问题解决措施 关闭Kafka自动创建Top
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
审计与日志 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始查询, offset大于等于0。
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。
Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围(GB) 单个代理流量规格(MB/s)
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Kafka Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(以t
组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体以控制台为准,此时建议修改业务代码,使业务代码不再连接该消费组,然后再删除消费组。修改“auto.create.groups.enable”参数的方法请参考修改Kafka实例配置参数。
为什么JVM堆内存使用率出现明显波动? JVM堆内存使用率在监控页面呈现锯齿状属于正常现象,在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 父主题: 监控告警问题
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。 此消费组从未有消费者连接。 解决方法如下: 删除带特殊字符的消费组。
rabbitmqInstance表示RabbitMQ实例配额。 kafkaInstance表示Kafka实例配额。 rocketmqInstance表示RocketMQ实例配额。 tags表示标签的配额。 quota Integer 租户最大可以创建的实例个数,或者每个实例最大可以创建的标签个数。 used
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。