-
如何选择Kafka实例存储容量阈值策略? - 分布式消息服务Kafka版
该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。 以上两种策略的需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka 立即使用 成长地图 由浅入深,带您玩转Kafka 01 了解 了解分布式消息服务Kafka版的产品特点和业务使用场景,有助于您更准确地匹配实际业务,更快速地选择所需实例。
-
【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告 - 分布式消息服务Kafka版
2.7的功能和性能是否存在差异? 已购买Kafka 2.3.0的用户不受影响,现有功能可继续使用。Kafka 2.7版本在功能上向前兼容2.3.0版本,性能基线保持一致。 已经购买的Kafka 2.3.0实例是否支持续费? 支持续费。 Kafka 2.3.0停售后是否有替换版本?
-
Java客户端接入示例 - 分布式消息服务Kafka版
####################### #设置SASL认证机制、账号和密码。 #sasl.mechanism为SASL认证机制,username和password为SASL_SSL的用户名和密码,参考“收集连接信息”章节获取。 #SASL认证机制为“PLAIN”时,配置信息如下。
-
成本管理 - 分布式消息服务Kafka版
汇总和过滤机制可视化企业的原始成本和摊销成本,从而通过各种角度、范围分析成本和用量的趋势及驱动因素。 企业还可以通过成本中心的“成本监控”,及时发现计划外费用,做到成本的可监控、可分析和可追溯。 详细介绍请参见通过成本分析探索成本和使用量、通过成本监控识别异常成本。 成本优化 成本控制
-
产品规格 - 分布式消息服务Kafka版
产品规格 Kafka实例规格 Kafka实例兼容开源Kafka 1.1.0、2.7和3.x,Kafka实例分为集群版和单机版,集群版实例由三个及以上代理组成,单机版实例由一个代理组成。 实例规格以实例提供的ECS规格分类,具体如下: 集群版实例 kafka.2u4g.cluster
-
spring-kafka的使用 - 分布式消息服务Kafka版
) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,username和password为SASL_SSL的用户名和密码,参考“收集连接信息”章节获取。 ## SASL认
-
基本概念 - 分布式消息服务Kafka版
由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、
-
诊断Kafka消息积压 - 分布式消息服务Kafka版
选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 检查成功后,在页面上方显示“预检查成功”,并显示内存使用率、CPU使用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 “消息积压情况”显示无消息积压时,无法进行消息积压诊断。显示有消息积压,并且消费组正在以
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
Development Kit 1.8.111或以上版本和Git Bash。 创建Kafka实例和Topic,并获取Kafka实例信息。 Kafka实例未开启公网访问和SASL认证时,获取表2所示信息。 表2 Kafka实例信息(未开启公网访问和SASL认证) 参数名 获取途径 内网连接地址
-
返回结果 - 分布式消息服务Kafka版
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
-
使用DNAT实现公网访问Kafka - 分布式消息服务Kafka版
单击Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“高级配置”区域,单击“修改”。 将“advertised.listeners IP/域名”改为DNAT规则中的弹性公网IP,内网连接地址和弹性公网IP的对应关系与添加DNAT规则中记录的对应关系保持一致,单击“保存”。 图6 修改advertised.listeners
-
消息从生产到消费时延高达6分钟 - 分布式消息服务Kafka版
区分业务使用不同消费组。 需要客户侧排查自身业务,优化自身业务处理逻辑,提高处理效率,降低阻塞时间。 背景知识介绍 消费组可以简单认为有两种状态REBALANCING和STABILIZED。 REBALANCING:消费组元数据发生变化,该状态下消费组中的所有消费者都无法进行正常的业务消费,
-
Java开发环境搭建 - 分布式消息服务Kafka版
####################### #设置SASL认证机制、账号和密码。 #sasl.mechanism为SASL认证机制,username和password为SASL_SSL的用户名和密码,参考“收集连接信息”章节获取。 #SASL认证机制为“PLAIN”时,配置信息如下。
-
查询产品规格列表 - 分布式消息服务Kafka版
name String 消息引擎的名称,该字段显示为kafka。 version String 消息引擎的版本,当前支持1.1.0、2.3.0和2.7。 values Array of values objects 产品规格列表。 表4 values 参数 参数类型 描述 detail
-
快速连接Kafka并生产消费消息 - 分布式消息服务Kafka版
Kafka。 在创建Kafka实例前,确保已存在可用的VPC和子网。 Kafka实例可以使用当前账号下已创建的VPC和子网,也可以使用新创建的VPC和子网,还可以使用共享VPC和子网,请根据实际需要进行配置。 创建VPC和子网的操作指导,请参考创建虚拟私有云和子网。请注意:创建的VPC与Kafka实例必须在相同的区域。
-
典型应用场景 - 分布式消息服务Kafka版
典型应用场景 Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分,使用消
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。
-
Kafka扩容/缩容会影响业务吗? - 分布式消息服务Kafka版
Kafka扩容/缩容会影响业务吗? 扩容/缩容Kafka实例的影响如表1所示。变更实例规格的时长和代理数量有关,单个代理的变更时长一般在5~10分钟,代理数量越多,规格变更时间越长。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。
-
错误码 - 分布式消息服务Kafka版
Redis instance types in the Smart Connect task. connector task 源端和目的端redis类型不符 请修改源端和目的端redis类型后重试。 400 DMS.00400876 The topic does not exist. Topic不存在