-
下载的证书JKS和CRT有什么区别? - 分布式消息服务Kafka版
下载的证书JKS和CRT有什么区别? 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。 父主题: 连接问题
-
获取项目ID - 分布式消息服务Kafka版
"previous": null, "self": "https://www.example.com/v3/projects/a4a5d4098fb4474fa22cd05f897d6b99"
-
连接问题 - 分布式消息服务Kafka版
Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗?
-
单机和集群Kafka实例差异概述 - 分布式消息服务Kafka版
单机和集群Kafka实例差异概述 单机版实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机版实例当前仅在“华东-上海一”和“华南-广州-友好用户环境”区域上线。 购买实例时的参数区别
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
1中只有Leader副本,Broker 0和Broker 2中存在Leader副本和Follower副本,由于Leader副本的限流和Follower副本限流分开计算,Broker 0和Broker 2需要分别计算Leader副本的限流和Follower副本限流。由此得出以下数据:
-
认证鉴权 - 分布式消息服务Kafka版
AK/SK签名认证方式仅支持消息体大小12M以内,12M以上的请求请使用Token认证。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。
-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
-
创建Kafka Topic - 分布式消息服务Kafka版
如下: 分区数为5。 副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 本文主要介绍手动创建Topic的操作,有以下几种方式,您可以根据实际情况选择任意一种方式: 方式1:在控制台创建Topic
-
什么是分布式消息服务Kafka版 - 分布式消息服务Kafka版
等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用华为云分布式消息服务Kafka版,资源按需申请,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。 关于Kafka的帮助手册阅读指引
-
配置Kafka用户 - 分布式消息服务Kafka版
创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 在控制台创建用户的方法有两种,两种方法对应的重置密码的步骤有区别。 初始用户:在首次开启密文接入时设置的用户,如果忘记了密码,请参考重置用户密码(初始用户),重置密码。 非初始用户:在
-
Kafka客户端使用建议 - 分布式消息服务Kafka版
consumer不能频繁加入和退出group,频繁加入和退出,会导致consumer频繁做rebalance,阻塞消费。 consumer数量不能超过topic分区数,否则会有consumer拉取不到消息。 consumer需周期poll,维持和server的心跳,避免心跳超时
-
计费模式概述 - 分布式消息服务Kafka版
计费模式概述 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即
-
Kafka连接问题排查和解决 - 分布式消息服务Kafka版
检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错 未关闭域名校验 出现下图的错误信息:
-
构造请求 - 分布式消息服务Kafka版
表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud
-
制作和替换Kafka的SSL证书 - 分布式消息服务Kafka版
步骤三:修改客户端配置文件 替换证书后,需要在客户端的“consumer.properties”和“producer.properties”文件中,分别修改“ssl.truststore.location”和“ssl.truststore.password”参数。 security.protocol=SASL_SSL
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
参数说明: username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SCRAM-SHA-512机制:在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.prope
-
权限和授权项 - 分布式消息服务Kafka版
权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。 DMS for
-
Kafka消息堆积了怎么办? - 分布式消息服务Kafka版
在左侧导航栏,选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 诊断前检查成功后,如果“消息积压情况”显示有消息积压,并且消费组正在以非assign方式消费消息中,单击“开始诊断”。 诊断成功后,在诊断记录
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,您可以通过CTS对Kafka实例的操作记录进行收集、存储和查询,用于安全分析、合规审计、资源跟踪和问题定位等。 支持区域:
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
Connect迁移业务,会对源端Kafka进行消费,对目标端Kafka进行生产,会占用源端和目标端Kafka的带宽。 出于性能考虑,Smart Connect实时同步源端和目标端的数据,但是消费进度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境