检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、通过DNAT访问和公网访问，访问实例前，需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。
代理属于物理概念。下图通过消息的生产与消费流向，解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。
创建转储任务 功能介绍 创建转储任务。 当前页面API为历史版本API，未来可能停止维护。请使用开启Smart Connect（按需实例）。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
解决方法：修改容量阈值策略或扩大磁盘容量。“容量阈值策略”设置为“生产受限”，表示一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 父主题： 消息问题
BILIZED。 Member consumer-xxx in group 1 has failed 表示消费组内的某一个消费者超时退出，一般触发场景是消费者长时间没有与服务端通信导致，比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabilized完成的时间进
“状态”为“成功”时，表示关闭重平衡日志成功。 关闭重平衡日志只是停止重平衡日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。 父主题： 管理消费组
配置Kafka数据转储至OBS 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 单机实例不支持创建转储的Smart
置Kafka所有节点IP和主机名映射，避免Kafka client做反向解析，阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍，即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。 父主题： 配置Kafka客户端
功后，监控数据恢复。 升级过程中节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。
扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。
扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制。 若集群实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。
实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 取值范围：1~720 同步复制 表示后端收到生产消息请求并复制给所有副本后，才返回客户端。
Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数，修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间，修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量，修改方法请参见修改Kafka Topic副本数。 同步复制
如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查看消费进度。 在Kafka控制台的“监控与告警 >
方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 K
Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 输入“3”。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 输入“72”。 同步复制 选择“不开启”，即Leade
dcs_instance_id String DCS实例ID。（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最
Unauthorized 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情
dcs_instance_id String DCS实例ID。（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
