检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本次变更如下: 在权限和授权项中,将授权项明细接口从V1改为V2。 2021-09-13 本次变更如下: 在修改Kafka实例Topic中,增加Topic名称不能修改的描述。 2021-08-16 本次变更如下: 修改Kafka实例创建Topic和新增Kafka实例指定Topic分区的分区数最大值。
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称
理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内
版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。
ka实例的安全组,允许端口9092(明文接入)/9093(密文接入)被外部请求访问。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例,具体步骤请参考使用VPCEP实现跨VPC访问Kafka。注意修改Kafka实例的安全组,允许端口9011被外部请求访问。
Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格
“test”和“receive”用户可以订阅+发布此Topic。 图3 为用户设置Topic权限 单击“确定”,完成为用户的授权。 完成授权后,进入Topic列表页面,在Topic名称前单击,查看已经授权的用户及其对应的权限。 图4 查看已经授权的用户及其对应的权限 删除Topic权限
标签管理服务是一种快速便捷将标签集中管理的可视化服务,提供跨区域、跨服务的集中标签管理和资源分类功能。 为Kafka实例添加标签,可以方便用户识别和管理拥有的实例资源。 VPC终端节点(VPC Endpoint) 客户端和Kafka实例在同一区域的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
high.2:Kafka实例的基准带宽为1200MByte/秒。 type String 实例类型:集群,cluster charging_mode Integer 付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String
cluster.c3.high.2:Kafka实例的基准带宽为1200MB。 charging_mode Integer 付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String
选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。 虚拟私有云在Kafka实例创建完成后,不支持修改。 子网 选择已经创建好的或共享的子网。
@#$%^&*()-_=+|[{}]:'",<.>/?)和空格,并且不能以-开头 vpc_id 是 String 虚拟私有云ID。 获取方法如下:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 security_group_id 是 String 指定实例所属的安全组。 获取方法如下:
连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Kafka实例的端口号不同,且开启SASL_SSL的Kafka实例需要配置证书信息。 支持区域: 全部 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 跨VPC访问Kafka实例 使用DNAT访问Kafka实例
单机实例不支持开启SASL_SSL。 启用的安全协议 开启SASL_SSL后,实例已启用的安全协议。 开启的SASL认证机制 开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。
付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。 格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 subnet_name
源端Kafka实例和目标端Kafka实例不能同时消费,否则会导致同步的消费进度异常。 同步消费进度的频率为每分钟一次,因此会导致目标端的消费进度可能会略小于源端,造成部分消息被重复消费,所以需要消费者客户端业务逻辑兼容重复消费的场景。 从源端同步的offset与目标端的offset并
检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参数是否符合预期,是否和自己在配置文件中设置的一致。 如果不一致,请检查配置文件的写法。 Java客户端常见报错 未关闭域名校验 出现下图的错误信息: 解决方案:检查consumer.properties和producer
付费模式,1表示按需计费,0表示包年/包月计费。 vpc_id String VPC ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。 格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 subnet_name
IPv6内网访问和IPv6公网访问。 Kafka控制台的“基本信息 > 连接信息”的内容存在两种不同的显示,导致开启/关闭IPv4公网访问的步骤有所不同。 未开启IPv6功能,开启/关闭IPv4公网访问的步骤请参考开启IPv4公网访问(支持修改明文/密文接入)和关闭IPv4公网访问(支持修改明文/密文接入)。