检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka扩容/缩容会影响业务吗？ 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。
约束与限制 本章节介绍分布式消息服务Kafka版产品功能的约束和限制，您在使用Kafka实例时注意不要超过相应的约束和限制，以免程序出现异常。 如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况，不在SLA承诺和赔偿范围内。 实例 表1 实例约束与限制 限制项 约束与限制
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信
申请扩大Kafka配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单，以了解该资源在某个时间段的使用量和计费信息。 Kafka实例在账单中显示的产品名称为“分布式消息服务专享版”，存储空间在账单中显示的产品名称为“分布式消息服务物理多租存储”，如图1所示。 图1 账单 账单上报周期 包年
权限管理 如果您需要对华为云上购买的DMS for Kafka资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配
配置Kafka自动创建Topic “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时，系统会自动创建此Topic，此Topic的默认参数值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”（老化时间）、“default.replication.factor
停止计费 包年/包月资源 对于包年/包月计费模式的资源，例如包年/包月的Kafka实例，用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户
漏洞修复策略 漏洞修复周期 高危漏洞： Kafka社区发现漏洞并发布修复方案后，分布式消息服务Kafka版一般在1个月内进行修复，修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布，一般在一个月内提供修复方案，用户自行修复。 其他漏洞： 按照版本正常升级流程解决
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建
删除Kafka消费组 Kafka实例支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 约束与限制 若“auto.create.groups.enable
典型应用场景 Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统
数据保护技术 DMS for Kafka通过多种数据保护手段和特性，保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求，您可以选择在单可用区内（单机房）
业务过载处理建议 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间，具体操作请参考变更Kafka实例规格。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章节主要介绍
为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入python
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
