检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位：Byte/s 2020年6月及以后购买的实例，支持此监控项。 0~1000000000 Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
评估业务影响，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。 若集群实例已创建的分区数总和大于
ka实例。 支持区域： 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前，需要先连接Kafka实例。 创建Kafka实例时，支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例，与连接未开
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致，当网络发生异常或节点故障时，通过冗余副本自动故障切换，并且故障恢复后会从leader副本进行数据同步，保持数据一致性。 创建多副本的Topic 数据持久化
怎样重新绑定公网IP？ 首先在分布式消息服务Kafka版控制台，单击Kafka实例名称，进入实例详情页。在“基本信息”页面的“连接信息”区域，关闭“公网访问”，然后重新打开“公网访问”，并选择需要绑定的公网IP地址。 父主题： 实例问题
配置Kafka的SSL双向认证 SSL双向认证是指在通信认证时，将同时验证客户端和服务端的证书，以确保通信中涉及的双方都是受信任的。 开启SSL双向认证，主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性，需要联系后台管理人员开通后方可使用。 配置SSL双向认证的流程如图1所示。
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例，也可以通过密文接入Kafka实例，本章节指导您在控制台修改接入方式。 明文接入：表示客户端连接Kafka实例时，无需进行SASL认证。 密文接入：表示客户端连接Kafka实例时，需要进行SASL认证。 约束与限制
20数据。 表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题： 查看监控指标与配置告警
制作和替换Kafka JKS格式的SSL证书 SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输，提高了数据的安全性。 Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时，您可以使用分布式消息服务Kafka版提供的证书
获取和使用Kafka PEM格式的SSL证书 本章节指导您如何获取PEM格式的SSL证书，并使用PEM格式证书访问Kafka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。
据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。 针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries=3，重试间隔retry.backoff.ms=1000。 request.timeout
doop等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。
云）的ID。请参考创建实例获取。 security_group_id：安全组ID。请参考创建实例获取。 subnet_id：VPC内子网的网络ID。请参考创建实例获取。 available_zones：创建节点到指定的AZ ID，该参数不能为空数组或者数组的值为空，请参考查询可用区信息获取。
检查单条消息的处理时间是多久，处理max.poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll
是消费进度是通过批处理同步的，可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址，则消息生成与消费客户端需要有公网访问权限，并配置如下安全组。 表1 安全组规则 方向
生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理，或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆
申请扩大Kafka配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。
分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka 立即使用 成长地图
详情请参见权限管理。 建议配置安全组访问控制，保护您的数据不被异常读取和操作。 租户配置安全组的入方向、出方向规则限制，可以控制连接实例的网络范围，避免DMS for Kafka暴露给不可信第三方，详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
