检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager如何修改Topic的分区Leader? 在Kafka Manager中修改Topic的分区Leader的步骤如下: 登录Kafka Manager。 选择“Topic > List”,进入Topic列表页面。 单击待修改分区Leader的Topic名称(以topic-
high.2:Kafka实例的基准带宽为1200MByte/秒。 type String 实例类型:集群,cluster charging_mode Integer 付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String
cluster.c3.high.2:Kafka实例的基准带宽为1200MB。 charging_mode Integer 付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String
源端Kafka实例和目标端Kafka实例不能同时消费,否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次,因此会导致目标端的消费进度可能会略小于源端,造成部分消息被重复消费,所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并非一致关系,而是映射关系,
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
添加公网IP参数 参数 说明 公网IP 选择“IPv6网卡” 所属VPC 在下拉框中选择6中记录的虚拟私有云。 子网 在下拉框中选择6中记录的子网,并勾选6中记录的全部IPv6地址。 图4 添加公网IP 共享带宽配置成功后,需要在Kafka实例的安全组中设置如表6所示规则,才能成功通过IPv6地址连接Kafka。
选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。 虚拟私有云在Kafka实例创建完成后,不支持修改。 子网 选择已经创建好的或共享的子网。
付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。 格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 subnet_name
单机实例只支持开启/关闭公网访问的明文接入。 开启了IPv6功能后,不支持修改实例的接入方式。 前提条件 只有处于“运行中”状态的Kafka实例才可以修改接入方式。 开启明文接入 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
支持多语言的客户端。 采用Scala和Java编写,支持多种语言的客户端。 支持多种语言的客户端。 流量控制 RocketMQ 5.x支持基于实例规格的流量控制。 支持client、user和Topic级别,通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于C
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错
失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要调用接口来创建Kafka实例,那么这个IAM用户被授予的策略中必须包含允许“dms:instance:create”的授权项,该接口才能调用成功。
)和空格,并且不能以-开头 vpc_id 是 String 虚拟私有云ID。 获取方法如下:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 security_group_id 是 String 指定实例所属的安全组。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。
付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。 格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 subnet_name
付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。 格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 subnet_name
单机实例不支持开启SASL_SSL。 启用的安全协议 开启SASL_SSL后,实例已启用的安全协议。 开启的SASL认证机制 开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。
如何扩总分区? 增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更Kafka实例规格。 父主题: Topic和分区问题
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
重启Manager 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区平衡任务 关闭Kafka