检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例前,请先创建开启弹性公网IP的ECS、安装JDK、配置环境变量以及下载Kafka开源客户端。 登录管理控制台,在左上角单击,选择“计算 > 弹性云服务器”,创建一个ECS实例。 创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有可用的ECS,可重复使用,不需要再次创建。 使用root用户登录ECS。
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log.retention
持一致,“可用区”为“可用区2”,规格为4U8G,Linux系统的ECS。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。 export JAVA_HOME=/root/jdk1.8.0_231 export
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
同步、异步复制,数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署,服务高可用 Kafka后台为多集群部署,支持故障自动迁移和容错,保证业务的可靠运行。 Kafka实例支持跨AZ部署,代理部署在不同的AZ,进一步保障服务高可用。不同AZ之间基于Kafka ISR(in-sync
Java Development Kit 1.8.111及以上版本,可至Oracle官方下载页面下载。 安装后注意配置JAVA的环境变量。 IntelliJ IDEA 获取并安装IntelliJ IDEA,可至IntelliJ IDEA官方网站下载。 操作步骤 下载Demo包。 下载后解压,有如下文件:
资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io 参数 参数类型 描述
用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS for Kafka管理事件列表,请参见云审计服务支持的DMS
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_
请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时
分布式消息服务Kafka版 开源Kafka 简单易用 立等可用 即开即用,可视化操作,自助创建,自动化部署,分钟级创建实例,立即使用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。
2版本或者Kafka命令行工具3.4.0版本,确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下: 使用执行用户在用户家目录下修改“.bash_
全部 删除消费组 重置消费进度 查看消费者连接地址 修改配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。 支持区域: 全部 如何修改配置参数? 标签 标签是Kafka实例的标识,为Kafka
启单个Kafka实例,或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制,避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于“运行中”或“故障”状态,才能执行重启操作。 重启Kafka实例
[root@ecs-kafka bin]# 已开启密文接入的Kafka实例,通过以下步骤删除消费组。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_P
执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]# go version go version go1.16.5 linux/amd64 如果未安装Go,参考如下步骤安装。 #下载Go安装包。
创建一个Kafka实例。 重启实例 重启Kafka实例。 Kafka配置参数修改 修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。