正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品规格 Kafka实例规格 Kafka实例兼容开源Kafka 1.1.0、2.7和3.x,Kafka实例分为集群版和单机版,集群版实例由三个及以上代理组成,单机版实例由一个代理组成。 实例规格以实例提供的ECS规格分类,具体如下: 集群版实例 kafka.2u4g.cluster
使用内网通过同一个VPC访问Kafka实例(密文接入)。 安全组创建后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问Kafka实例,无需添加表1的规则。 构建生产消费客户端。 本文以Linux系统的弹性云服务器(Elastic Cloud
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户,并授予DMS
的密码成功。 重置Manager密码失败,界面提示重置实例的密码失败,请重新尝试重置密码操作。如果多次重置失败,请联系客服处理。 只有所有代理都重置密码成功,系统才会提示重置密码成功,否则会提示重置失败。 父主题: 管理Kafka Manager
变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代
配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器。 实例已开启Kafka SASL_SSL。 步骤一:制作客户端验证服务端的证书 登录Linux系统的服务器,执行以下命令,生成server.keystore.jks证书的孵化器。 keytool
ka实例。 支持区域: 全部 购买Kafka实例 连接Kafka 开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka实例。 创建Kafka实例时,支持开启或者关闭SASL_SSL。开源Kafka客户端连接开启SASL_SSL的Kafka实例,与连接未开
页面右上角直接提示修改结果。 内网访问 修改方法请参考配置Kafka实例的明文/密文接入。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 公网访问 修改方法请参考配置Kafka实例的公网访问。 系统跳转到“后台任务管理”页面,并显示当前任务的操作进度和结果。 容量阈值策略 单
、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑,单个Topic分区数只支持增加,不支持减少。 出于性能考虑,建议单个Topic的分区数设置为200以内。 Topic数量
实例创建成功后,跨VPC访问安全协议无法修改。 内网IP地址 根据实际需求选择“自动分配”或“手动选择”。 自动分配:系统自动分配子网中可用的IP地址。 手动选择:在下拉框中勾选指定的IP地址。如果指定的IP地址数量少于代理数量时,系统会自动为剩余代理分配IP地址。 公网访问 接入方式 接入方式分为以下两种: 明文接
高危漏洞: Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。 其他漏洞: 按照版本正常升级流程解决。 修复声明 为了防止
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报两条账单(实例费用账单和存储空间费用账单)到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更实例规格。
指导,包括Kafka客户端安装,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python,您可以在命令行输入python或者python3,查看Python是否已经安装。python命令只能查询Python 2
PLAIN机制、用户名和密码,再次开启时,只需要设置kafka安全协议。 内网访问密文接入开启后,部分region不支持关闭,如果需要关闭,请联系客服处理。 公网访问密文接入 确认公网访问已开启,如果未开启,请开启公网访问,具体步骤参考配置Kafka实例的公网访问。 在“公网访问 > 密
配置Kafka自动创建Topic “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。 如果在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication
and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK") credentials = BasicCredentials(ak
参数说明如下: ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码
Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输入源的示意图如下。