检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka实例标签 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“标签”页面添加标签,您最多可以给实例添加20个标签。另外,您还可以删除标签。
同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。 跨VPC访问协议
时。 批量导入/导出Topic 支持批量导出,不支持批量导入。 Topic名称 Topic名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 是否支持延迟队列 不支持 代理故障场景 实例中部分代理故障时,无法创建、修改和删除Topic,只能查询Topic。 消费组 表3
2019-12-10 新增以下接口: 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询实例在CES的监控层级关系 查询Kafka实例所有消费组对应的协调器信息 新增Kafka实例指定Topic分区
修改Kafka Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述,不会重启实例。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka
创建用户 功能介绍 创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI
删除Kafka消费组 Kafka实例支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同) 约束与限制 若“auto.create.groups.enabl
查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
修改Kafka消息老化时间 老化时间即消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。已删除的消息,无法被消费。 Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。 修改老化时间可以通过以下方式实现:
安全协议设置为“SASL_SSL”时,采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。此时需要配置连接实例的用户名和密码,以及证书文件。 安全协议设置为“SASL_PLAINTEXT”时,采用SASL方式进行认证,数据通过明文传输,性能更好。此时需要配置连接实例的用户名和密码,无需配置证书文件。
修改Kafka消费组信息 消费组创建成功后,您可以根据业务需要修改消费组的描述信息。 修改Kafka消费组信息 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
重置用户密码 功能介绍 重置用户密码 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/users/{user_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建用户并授权使用DMS for Kafka 如果您需要对您所拥有的DMS for Kafka服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为账号中
Kafka删除消息 功能介绍 Kafka删除消息。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/messages 表1 路径参数 参数 是否必选
重置密码 功能介绍 重置密码(只针对开通SSL的实例)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/password 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
serializer=org.apache.kafka.common.serialization.StringSerializer #producer可以用来缓存数据的内存大小 buffer.memory=33554432 #重试次数 retries=0 #######################
Kafka生产消息 功能介绍 在控制台发送指定消息到Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述
提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加