批量添加或删除实例标签 功能介绍 批量添加或删除实例标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/{instance_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考创建Smart
修改实例跨VPC访问的内网IP 功能介绍 修改实例跨VPC访问的内网IP。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/crossvpc/modify 表1 路径参数 参数 是否必选 参数类型
创建Kafka消费组 消费者是从Topic订阅消息的一方,消费组是由一个或多个消费者组成的。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通
不同实例中,使用的SSL证书是否一样? Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。 获取SSL证书的方法如下: 在Kafka控制台,单击实例名称,进入实例详情页。 在“连接信息 > SSL证书”所在行,单击“下载”。 父主题: 连接问题
topics”的报错。 图1 消费者访问权限 处理方法: 如果业务要求所有消费者在同一个消费组内,即group.id相同,解决方法:为所有消费者授权相同的Topic访问权限。 如果消费者不需要在同一个消费组内,解决方法:修改group.id,让每个消费者单独在一个消费组内。 父主题: Topic和分区问题
Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ? Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。 已购买的实例,在实例详情页“基本信息”页面的“网络”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 图1 实例基本信息 父主题: 实例问题
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏选择“Topic管理”,进入Topic列表页面。 通过以下任意一种方法,修改Topic分区数。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行,单击“编辑”。 在“编辑To
配置Kafka实例标签 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“标签”页面添加标签,您最多可以给实例添加20个标签。另外,您还可以删除标签。 如您的组织已经
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实
私网IP:输入获取Kafka实例的信息中记录的Kafka实例的一个内网连接地址 私网端口:输入“9011” 如果想要了解更多的参数信息,请参考添加DNAT规则。 图4 添加DNAT规则 单击“确定”,完成DNAT规则的添加。 DNAT规则添加成功后,在DNAT规则列表中查看此规则的状态,若“状态”为“运行中”,表示创建成功。
Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间,修改方法请参见修改Kafka消息老化时间。 副本数 Topic每个分区的副本数量,修改方法请参见修改Kafka Topic副本数。 同步复制 后端收
登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,为Kafka实例续费。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“续费”,弹出“续费”对话框,单击“是”,跳转到“续费”页面。 在待续费的Kafka实例所在行,单击“更多
要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。当Top
在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。 备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。 集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。
在左侧导航栏单击“共享带宽”,进入“共享带宽”页面。 申请一个共享带宽,具体操作请参考申请共享带宽。 如果已有共享带宽,可重复使用,无需再次申请。 在共享带宽所在行,单击“添加公网IP”,弹出“添加公网IP”对话框。 设置如表5参数,单击“确定”。 表5 添加公网IP参数 参数 说明 公网IP 选择“IPv6网卡”
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“Topic管理”,进入Topic列表页面。 通过以下任意一种方法,进入“自动平衡”页面。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“一键平衡 > 自动平衡”。 在待修改副本数的Topic所在行,单击“更多 > 一键平衡
分布式消息服务Kafka版”,进入Kafka总览页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,重启Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行,单击“重启”。 单击Kafka实例名称,
您即将访问非华为云网站,请注意账号财产安全