-
Kafka开源客户端获取 - 分布式消息服务Kafka版
Kafka开源客户端获取 Kafka实例完全兼容开源客户端,如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与Kafka实例对接。
-
收集连接信息 - 分布式消息服务Kafka版
SASL用户名在Kafka实例控制台的“用户管理”页面中查看,如果忘记密码,可通过重置SASL_SSL密码重新获得。 图3 查看SASL用户名 SSL证书在Kafka实例控制台的基本信息页面中下载。 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。
-
扩容失败提示资源不足 - 分布式消息服务Kafka版
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
-
开启Smart Connect - 分布式消息服务Kafka版
Connect 操作场景 Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份。 Smart Connect的使用流程为: 开启Smart Connect 创建Smart Connect任务 本章节主要介绍如何开启Smart
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
Logstash对接Kafka生产消费消息 应用场景 Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。
-
如何选择Kafka实例存储容量阈值策略? - 分布式消息服务Kafka版
但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量
-
Java开发环境搭建 - 分布式消息服务Kafka版
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
-
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? - 分布式消息服务Kafka版
如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto
-
导出Kafka实例列表 - 分布式消息服务Kafka版
在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出
-
重启Kafka实例 - 分布式消息服务Kafka版
重启Kafka实例 操作场景 分布式消息服务Kafka版管理控制台支持重启运行中的Kafka实例,且可实现批量重启Kafka实例。 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例
-
配置Kafka数据转储至OBS - 分布式消息服务Kafka版
最早:最小偏移量,即读取最早的数据。 最新:最大偏移量,即获取最新的数据。 数据转储周期 两次转储的时间间隔,单位:秒,默认配置为300秒。 若某个时间段内无数据,则此时间段不会生成打包文件。 AK 访问密钥ID。 获取AK的方法,具体请参见新增访问密钥。 SK 与访问密钥ID结合使用的密钥。 获取SK的方法,具体请参见新增访问密钥。
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
如果需要将原Kafka的已消费数据也迁移到Kafka实例,可以使用Smart Connect工具,模拟成原Kafka的消费客户端,以及新Kafka实例的生产客户端,将Kafka所有消息数据迁移到新的Kafka实例,具体步骤请参考配置Kafka间的数据复制。 需要注意的是,云上Kafka实例为
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
or (ID)和描述。Coordinator (ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。
-
导出Kafka消费组列表 - 分布式消息服务Kafka版
组列表页面。 通过以下任意一种方法,导出消费组列表。 勾选待导出的消费组,单击“导出 > 导出已选中数据到XLSX”,导出指定消费组列表。 单击“导出 > 导出全部数据到XLSX”,导出全部消费组列表。 父主题: 管理消费组
-
费用账单 - 分布式消息服务Kafka版
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报两条账单(实例费用账单和存储空间费用账单)到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费
-
云监控无法展示Kafka监控数据 - 分布式消息服务Kafka版
云监控无法展示Kafka监控数据 Topic监控数据无法展示,可能原因如下: Topic名称开头包含特殊字符,例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下: 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示,可能原因如下: 消费组名称开头包含特殊字符,例如#号“#”。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询Kafka集群元数据信息成功。 错误码 请参见错误码。 父主题: 实例管理
-
查看Kafka消息 - 分布式消息服务Kafka版
当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 单击“搜索”,查询消息。 查询结果如下: 图1 查询Topic消息 消息的参数说明如下: Topic名称:消息所在的Topic名称。 分区:消息所在的分区。 偏移量:消息在分区中的位置。
-
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? - 分布式消息服务Kafka版
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题