检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DNAT通过端口映射方式,将弹性IP地址映射到Kafka实例指定端口,实现Kafka实例对公网提供服务。 本章节主要介绍使用DNAT实现公网访问Kafka。 前提条件 已购买弹性公网IP,弹性公网IP的数量与Kafka实例中代理个数相同。购买弹性IP地址的操作指导请参考申请弹性公网IP。 步骤一:获取Kafka实例的信息
页面,获取Topic名称。 下文以topic-logstash为例介绍。 Kafka实例未开启公网访问、已开启SASL认证时,获取表3所示信息。 表3 Kafka实例信息(未开启公网访问、已开启SASL认证) 参数名 获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。
Java Java客户端接入示例 Java开发环境搭建
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka JKS格式的SSL证书 获取和使用Kafka PEM格式的SSL证书 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
设置如下参数。 区域:与Kafka实例保持一致。 服务类别:选择“按名称查找服务”。 服务名称:输入9中记录的终端节点服务名称,单击“验证”。显示“已找到服务”后,继续后续操作。 虚拟私有云:选择Kafka客户端所属的VPC。 子网:选择Kafka客户端所属的子网。 IPv4地址:选择“自动分配IPv4地址”
从Kafka实例控制台的Topic管理页面中获取Topic名称。 未开启“Kafka自动创建Topic”功能时,必须先创建Topic,然后客户端才可以连接Kafka实例生产消费消息。 密文接入信息 如果实例开启密文接入,则需要获得连接实例的用户名与密码、SASL认证机制和Kafka
修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 修改Kafka的接入方式 查询topic的磁盘存储情况 Kafka实例开始分区重平衡任务 关闭Kafka Manager 删除用户/客户端流控配置 查询用户/客户端流控配置
a ## spring.kafka.properties.ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭,这里需要保持关闭状态,必须设置为空。 spring.kafka.properties.ssl.endpoint.identification
修改Kafka的配置参数。 开启/关闭自动创建Topic。 容量阈值策略变更 修改Kafka实例的容量阈值策略。 Kafka动态配置SSL 修改明文接入/密文接入。 配置公网访问 开启/关闭公网访问。 开启Smart Connect 开启Smart Connect功能。 关闭Smart Connect
Connect任务详情 删除Smart Connect任务 暂停Smart Connect任务 启动已暂停的Smart Connect任务 启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 规格变更管理 包括: 实例扩容 查询实例的扩容规格列表
统快速响应的目的。 如网站的用户注册场景,在用户注册成功后,还需要发送注册邮件与注册短信,这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统,从而提升注册流程的响应速度。 图1 串行发送注册邮件与短信流程 图2 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰
描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam
TCP 9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(明文接入)。 入方向 TCP 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(密文接入)。 创建目标Kafka实例。 目标Kafka的规格不能低于原业务使用的Kafka规格。具体请参考购买Kafka实例。
执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]# go version go version go1.16.5 linux/amd64 如果未安装Go,参考如下步骤安装。
开启/关闭SSL双向认证将重启实例,请谨慎操作。 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。 步骤一:制作客户端验证服务端的证书
设置生产上限速率,单位为MB/s。为空时,表示不设置速率。 消费上限速率 设置消费上限速率,单位为MB/s。为空时,表示不设置速率。 未开启密文接入的实例,在“创建流控”对话框中,不显示“用户名”。 “用户名”和“客户端ID”不可同时为空。 “生产上限速率”和“消费上限速率”不可同时为空。
理消息最大值”大于等于524288字节。修改“批处理消息最大值”的方法请参考修改Kafka Topic配置。 前提条件 已开启Smart Connect。 已创建Kafka实例,且实例状态为“运行中”。 配置Kafka间的数据复制 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
修订记录 发布日期 修订记录 2024-12-20 本次变更如下: 新增修改Kafka的接入方式、查询消费组消息位点、修改所有消费组、查询指定消费组、删除指定消费组、查询指定消费组的topic、查询指定消费组的消费成员、Kafka删除消息和查询Kafka产品规格核数接口。 2024-06-04
他用户需要配置权限才能进行对应的操作。 所有操作包括修改Topic权限、创建和删除Topic、以及修改Topic分区数。 仅在实例开启密文接入时,存在此参数。 2023年9月15日前创建的实例不支持修改此参数。 true/false true num.partitions 自动创建Topic时的默认分区数。
购买实例时选择的单AZ,怎样可以扩展为多AZ? 已购买的实例无法扩展AZ,请重新购买多AZ的实例。 父主题: 实例问题