检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自己制作的证书。如果使用自己制作的证书,请参考本章节将分布式消息服务Kafka版提供的证书替换为自己的证书。 制作并替换证书为白名单特性,需要联系后台管理人员开通后方可使用。所有region都可以通过白名单开通此特性。 替换证书将重启实例,请谨慎操作。 前提条件 已准备一台Linux系统的服务器,并安装Java
Kafka Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
如何调用API 构造请求 认证鉴权 返回结果
常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
如何修改安全协议? Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。 未开启IPv6的实例,仅部分Region支持修改安全协议,具体以控制台为准。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题: Topic和分区问题
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。
X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。 父主题: 如何调用API
如何查看堆积消息数? 通过以下任意一种方法,查看堆积消息数。 在Kafka控制台的“消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。 在Kafka控制台的“监控与告警 >
SASL认证机制如何修改? Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。 密文接入成功开启后,不支持修改SASL认证机制。如果需要修改,请重新创建实例。 父主题: 实例问题
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
Kafka实例的SASL_SSL开关如何修改? 在“华北-北京一”、“中东-利雅得”、“拉美-圣保罗一”和“拉美-圣地亚哥”区域,Kafka SASL_SSL开关不支持购买实例后修改,在购买时,请慎重选择,如果购买后需要修改,需要重新购买实例。 除“华北-北京一”、“中东-利雅得
如何选择Kafka实例的存储空间? 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 +
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
如何选择Kafka实例存储容量阈值策略? 支持以下两种策略: 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。
jks证书。如果没有,在控制台单击Kafka实例名称,进入实例详情页面,在“连接信息 > SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2
Kafka是否支持Kerberos认证,如何开启认证? Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。