检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 是否打开kafka自动创建topic功能。 true:开启 false:关闭 当您选择开启,表示生产或消费一个未创建的Topic时,会自动创建一个包含3个分区和3个副本的Topic。 默认是false关闭。 storage_spec_code 是 String 存储IO规格。
为什么可用区不能选择2个? 如果您需要提高Kafka实例的可靠性,在创建实例时,建议选择3个或以上的可用区,不支持选择2个可用区。原因如下: 每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,
rrorMaker,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。 登录弹性云服务器,安装Java JDK,并配置JAVA_HOME与PATH环境变量,使用执行用户在用户家目录下修改“
分布式消息服务Kafka版完全兼容开源社区版本,旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。 一键式部署,免去集群搭建烦恼 您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社区版
开启或关闭实例自动创建topic功能 功能介绍 开启或关闭实例自动创建topic功能。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/autotopic 表1 路径参数 参数 是否必选 参数类型
curl -kv {ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和P
问题现象:同一个消费组内有多个消费者,为每个消费者授权不同的Topic访问权限,某一消费者消费其中一个Topic时,提示消费失败,报错信息如下:Not authorized to access topics。 问题原因:消费组的leader在进行分区分配时,不会考虑某一个消费者的授
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买如下参数的2台ECS服务器,具体步骤请参考购买弹性云服务器。 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。 区域、虚拟私有云、子网、安全组与Kafka实例保
不同实例中,使用的SSL证书是否一样? Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。 获取SSL证书的方法如下: 在Kafka控制台,单击实例名称,进入实例详情页。 在“连接信息 > SSL证书”所在行,单击“下载”。 父主题:
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
查看Kafka实例后台任务 对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 表1 后台任务列表 任务名 说明 创建实例 创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
创建的Kafka实例是集群模式么? Kafka实例分为单机实例和集群实例,单机实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 父主题: 实例问题
客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。 - 客户端和Kafka实例部署在同一个Region的不同VPC中,利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现跨VPC访问。 使用VPCEP实现跨VPC访问Kafka 客户端和Kafka实例部署在同一个Region的
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处于相同region但不同VPC,通过以下任意一种方式访问。
获取和使用Kafka PEM格式的SSL证书 本章节指导您如何获取PEM格式的SSL证书,并使用PEM格式证书访问Kafka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
Kafka实例是否支持不同的子网? 支持。 客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 父主题: 连接问题
Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,重启Kafka实例。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行,单击“重启”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“重启”。