检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SASL认证机制如何修改? Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。 密文接入成功开启后,不支持修改SASL认证机制。如果需要修改,请重新创建实例。 父主题: 实例问题
分区平衡任务启动后,不能删除正在进行分区平衡的Topic,否则会导致分区平衡任务无法结束。 分区平衡后Topic的metadata会改变,如果生产者不支持重试机制,会有少量的请求失败,导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafk
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
printStackTrace(); } } } 消费者线程管理代码示例: 示例仅提供简单的设计思路,开发者可结合实际场景优化线程休眠和唤醒机制。 topicName配置为Topic名称。 package com.huawei.dms.kafka; import java.util
正常现象,在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 父主题: 监控告警问题
Kafka时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角
SASL配置(不开启SASL时将以下配置删除) ======= ## 设置SASL认证机制、账号和密码。 ## spring.kafka.properties.sasl.mechanism为SASL认证机制,username和password为SASL的用户名和密码,参考“收集连接信息
生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后
测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL 测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic 测试场景三(是否同步落盘):相同的实例,不同落盘机制的Topic 测试场景四(不同磁盘类型):相同的Topic,不同磁盘类型的实例 测试场景五(不同分区数):相同的实例,不同分区数的Topic
密文接入成功开启后,SASL PLAIN机制不支持修改。 什么是SCRAM-SHA-512机制和PLAIN机制? SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。 PLAIN机制:一种简单的用户名密码校验机制。 设置高级配置。
启了,根据实际情况选择其中任意一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图3 开启的SASL认证机制 Kafka安全协议在Kafka实例控制台的基本信息页面中获取。很久前创建的Kafka实例在详情页如果未显示“
afka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例 登录管理控制台。
获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。 证书 在Ka
已获取开启的SASL认证机制。 在Kafka实例详情页的“连接信息”区域,查看“开启的SASL认证机制”。如果SCRAM-SHA-512和PLAIN都开启了,根据实际情况选择其中任意一种配置连接。很久前创建的Kafka实例在详情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图5
典型应用场景 Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分,使用消
中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题: 实例规格变更问题
密文接入成功开启后,SASL PLAIN机制不支持修改。 什么是SCRAM-SHA-512机制和PLAIN机制? SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。 PLAIN机制:一种简单的用户名密码校验机制。 用户名、密码 -
Array of strings 开启SASL后使用的认证机制。仅在第一次开启SASL时传入生效。生效后再次传入无效。 PLAIN:简单的用户名密码校验。 SCRAM-SHA-512:用户凭证校验,安全性比PLAIN机制更高。 响应参数 状态码:200 表3 响应Body参数 参数
ig.properties”文件,在文件中增加如下内容。 security.protocol=SASL_PLAINTEXT #SASL认证机制为“SCRAM-SHA-512”时,配置信息如下。 sasl.jaas.config=org.apache.kafka.common.security