检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时，首先开启Smart Connect，然后创建Kafka数据复制类型的Smart Connect任务，实现两个Kafka实例数据的同步，具体步骤请参考创建Smart
在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。
创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
问题现象：同一个消费组内有多个消费者，为每个消费者授权不同的Topic访问权限，某一消费者消费其中一个Topic时，提示消费失败，报错信息如下：Not authorized to access topics。 问题原因：消费组的leader在进行分区分配时，不会考虑某一个消费者的授
Kafka是否支持跨AZ容灾？已经购买的实例在哪里查看是否为跨AZ？ Kafka实例支持跨AZ容灾，在购买实例时，选择多个可用区即可实现跨AZ容灾。 已购买的实例，在实例详情页“基本信息”页面的“网络”区域，查看可用区数量。多于一个可用区时，表示已实现跨AZ容灾。 图1 实例基本信息 父主题： 实例问题
设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。
单击左侧导航栏的图标，选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法，为Kafka实例续费。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“续费”，弹出“续费”对话框，单击“是”，跳转到“续费”页面。 在待续费的Kafka实例所在行，单击“更多 > 续费”，跳转到“续费”页面。
在左侧导航栏选择“Topic管理”，进入Topic列表页面。 通过以下任意一种方法，修改Topic配置。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“编辑Topic”。 在待修改配置的Topic所在行，单击“编辑”。 在“编辑Topic”对话框中，修改Topic的配置，单击“确定”。
ObsDestinationDescriptor 参数 是否必选 参数类型 描述 topics 是 String 转存的topic列表名称，支持输入多个topic，以逗号“,”分隔。同时支持正则表达式。 topics_regex 否 String 转存topic的正则表达式，与topics必须二选一，不能同时都设置或者“
根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。 Kafka Manager异常。 问题解决措施 检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内？ 是，执行2。 否，修改Windows服务器的VPC和子网，与Kafka实例一致。
响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 创建一个消费组，消费组名为test。 POST https://{endpoint}/v2/{project_id}/kafka/instance
Kafka集群实例 Kafka集群实例规格 Kafka集群实例由三个及以上代理组成，兼容开源Kafka 1.1.0、2.7和3.x。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
时区。（仅目标端类型为OBS时会显示） schema_generator_class String schema_generator类，默认为"io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator"。（仅目标端类型为OBS时会显示）
创建Kafka实例的用户，用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例，一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例，一个实例最多创建500个用户。 调用方法 请参见如何调用API。 URI POST /v2/{proje
配置值 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 name String topic名称。 请求示例 创建一个Topic，Topic名称为test01。 POST https://{endpoint}/v2/{project_id}/instanc
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
