检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用
Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗?
Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。 单机实例不支持关闭Smart Connect。 前提条件 已创建Kafka实例,且实例状态为“运行中”。 关闭Smart Connect前,请先删除所有的Smart
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
Kafka实例规格 Kafka单机实例 Kafka集群实例
同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
监控详情”,进入监控页面,查看监控数据,数据更新周期为1分钟。 Kafka实例支持查看以下监控数据: 单机实例:查看实例、节点、主题和消费组的监控数据。 集群实例:查看实例、节点、主题、消费组和Smart Connect的监控数据。 查看Kafka关键指标Top数据 登录管理控制台。 在
开启Smart Connect Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。 Smart Connect的使用流程为: 开启Smart Connect。 创建Smart Connect任务。
partitions”(分区数)的参数值,单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。 例如:“num.partitions”修改为“5”,自动创建的Topic参数值如表1所示。 表1 Topic参数值 参数名称 单机实例默认值 集群实例默认值 集群实例修改后的值
1中只有Leader副本,Broker 0和Broker 2中存在Leader副本和Follower副本,由于Leader副本的限流和Follower副本限流分开计算,Broker 0和Broker 2需要分别计算Leader副本的限流和Follower副本限流。由此得出以下数据:
有“test”、“send”和“receive”用户可以订阅/发布此Topic,“send_receive”用户无法订阅/发布此Topic。 图2 为某个用户设置权限 同时设置了“默认用户”权限和单个用户权限时,取两者的并集。如下图所示,“test”和“receive”用户可以订
内建的分布式集群技术,使得服务具有高度扩展性。分区数可配置多达200个,存储空间、代理数量和代理规格支持弹性扩展,保证在高并发、高性能和大规模场景下的访问能力,轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置,并且自定义Topic的分区数、副本数。
c列表。 Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型、批处理消息最大值和描述信息。 父主题: Topic管理
Kafka实例支持多副本存储,存储空间用于存储消息(包括副本中的消息)、日志和元数据。您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估、副本数量以及预留磁盘大小选择合适的存储空间。每个Kafka代理会预留33GB的磁盘空间,用于存储日志和元数据。 例如:业务消息体积预估100GB,副本数
为60小时,“配置参数”中的log.retention.hours值为72小时,此时Topic01实际的老化时间为60小时。 约束与限制 单机实例只支持在“Topic管理”中,修改老化时间。 修改Kafka消息老化时间 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
存储该通道数据的OBS桶名称。 obs_path 否 String 存储在obs的路径,默认可以不填。 取值范围:英文字母、数字、下划线、中划线和斜杠,最大长度为64个字符。 默认配置为空。 partition_format 是 String 将转储文件的生成时间使用“yyyy/MM/
ce时间、原因和触发Rebalance的客户端等。本章节介绍如何在控制台查看重平衡日志。 重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 约束与限制 2023年4月6日前创建的实例,不支持重平衡日志功能。 单机实例不支持查看重平衡日志。
消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,慢SQL,时延增加等)导致消费时间增加,在max.poll.interval.ms时间内消费者没有发起下一次消费请求,br
非初始用户:在“用户管理”页面创建的用户,如果忘记了密码,请参考重置用户密码(非初始用户),重置密码。 约束与限制 单机实例不支持创建用户、重置用户密码、修改用户信息和删除用户。 首次开启密文接入时设置的用户无法删除。 重置用户密码会导致业务中断,您需要及时在客户端配置文件或代码中修改用户密码。
在“配置参数”页面,在待修改参数所在行,单击“编辑”,修改配置参数。 1.1.0版本实例的参数说明如表1和表2所示,2.3.0/2.7/3.x版本实例的参数说明如表3和表4所示。 表1 动态参数说明(1.1.0版本) 参数 参数说明 参数范围 默认值 auto.create.groups