检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
享带宽和Kafka实例所在的共享带宽不需要为同一个,共享带宽间网络默认互通。 关闭IPv6公网访问 将Kafka实例的IPv6地址从共享带宽中移出,具体请参考从共享带宽中移出弹性公网IP。 父主题: 配置Kafka网络连接
连接Kafka网络要求 客户端可以通过公网连接Kafka实例,也可以通过内网连接Kafka实例。使用内网连接时,注意以下几点: 如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。 如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
在“基本信息”页面的“连接信息”区域,获取并记录Kafka实例的内网连接地址。在“网络”区域,获取并记录Kafka实例所在的虚拟私有云和子网。 图1 Kafka实例信息 步骤二:购买公网NAT网关 在管理控制台左上角单击,选择“网络 > NAT网关”,进入“公网NAT网关”页面。 单击“购买公网N
如果Kafka实例的子网配置了网络ACL功能,需要在网络ACL的入方向规则中放通198.19.128.0/17网段的地址,以及VPC终端节点涉及的子网。 198.19.128.0/17是为VPC终端节点分配的网段,使用VPC终端节点需要放通此网段。 父主题: 配置Kafka网络连接
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动
配置Topic 创建Kafka Topic 设置Kafka Topic权限 Topic管理
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
3~50 250000 2000 200 4000 300GB~1500000GB 750 实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型)
或者安全组配置不正确,导致网络无法连通。 Kafka Manager异常。 问题解决措施 检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内? 是,执行2。 否,修改Windows服务器的VPC和子网,与Kafka实例一致。 检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。
开启/关闭SSL双向认证将重启实例,请谨慎操作。 配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。
选择和配置安全组 Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服
Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略,以及配置操作。在实际业务中,建议按照以下告警策略,配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率
重置用户密码会导致业务中断,您需要及时在客户端配置文件或代码中修改用户密码。 约束与限制 单机实例不支持创建用户、重置用户密码、修改用户信息和删除用户。 首次开启密文接入时设置的用户无法删除。 前提条件 Kafka实例已开启密文接入。 只有处于“运行中”状态的Kafka实例支持配置Kafka用户。 创建用户
curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和P
objects kafka配置列表。 表3 InstanceConfig 参数 参数类型 描述 name String 配置名称。 valid_values String 有效值。 default_value String 默认值。 config_type String 配置类型:static/dynamic。
ModifyInstanceConfig objects kafka待修改配置列表。 表3 ModifyInstanceConfig 参数 是否必选 参数类型 描述 name 否 String 修改的配置名称。 value 否 String 配置的修改值。 响应参数 状态码: 200 表4 响应Body参数
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制,控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响