检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制，您在使用Kafka实例时注意不要超过相应的约束和限制，以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况，不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
Kafka扩容/缩容会影响业务吗？ 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容
与其他云服务的关系 云审计（Cloud Trace Service） 云审计为您提供云服务资源的操作记录，记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回溯使用。 当前CTS记录的操作，请参考云审计日志。 虚拟私有云（Virtual
用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，如企业官网、在线商城、博客等，包年/包月计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，如科研项目、大型活动策划等，包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量，以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的消息大小
测试Kafka实例TPS 通过以下几个场景，测试不同实例规格的TPS。 测试场景一（实例是否开启SASL）：相同的Topic，实例分为开启SASL和未开启SASL 测试场景二（同步/异步复制）：相同的实例，不同复制机制的Topic 测试场景三（是否同步落盘）：相同的实例，不同落盘机制的Topic
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例，只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异，具体如表1所示。 表1 单机实例和集群实例的差异说明
审计与日志 云审计服务（Cloud Trace Service，简称CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后，CTS可记录DMS
快速连接Kafka并生产消费消息 本章节将为您介绍分布式消息服务Kafka版入门的使用流程，以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例，客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例，帮助您快速上手Kafka。 图1 Kafka使用流程 准备工作
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者？ 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 为什么删除消费组不生效？ 实例消费正常，为什么看不到消费者？ Kafka可以删除消费组下不用的Topic吗？
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书
构造请求 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户来说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
配置Kafka实例的公网访问 客户端可以使用公网通过IPv4地址或者IPv6地址访问Kafka实例。 IPv4地址：在Kafka控制台开启实例的公网访问功能，并设置弹性IP地址，实现公网访问。 IPv6地址：在创建Kafka实例时开启IPv6功能，然后将IPv6地址添加到共享带宽
使用MirrorMaker跨集群同步数据 方案概述 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。
开启Smart Connect Smart Connect用于Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步，实现数据的备份或迁移。 Smart Connect的使用流程为： 开启Smart Connect。 创建Smart Connect任务。
使用客户端连接Kafka（关闭SASL） 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
