检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic-05 否 否 3 12 topic-06 否 否 3 100 获取测试工具。 获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。
前提条件 已配置如表2所示安全组。 表2 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999 Kafka客户端所在的IP地址或地址组 访问Kafka Manager。 登录Kafka Manager 创建一台与Kafka实例相同VPC和相同安全组的Windows服务
Kafka支持哪些加密套件? 由于安全问题,2021年3月20日前以及当天创建的实例,支持的加密套件为TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256和TLS_ECDHE_R
SASL_SSL:客户端通过密文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 SASL_PLAINTEXT:客户端通过明文连接Kafka实例,且连接时需要进行SASL认证。SASL认证分为PLAIN和SCRAM-SHA-512。 父主题: 管理实例
System.out.println("Everyone WakeUp and Work!"); logger.info("Everyone WakeUp and Work!"); } } public
检查安全组是否配置正确?安全组的配置请参考选择和配置安全组。 是,执行3。 否,修改安全组配置。 在Kafka实例控制台,重启Kafka Manager,具体操作请参考重启Kafka Manager。
当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息
图1 查看每个Topic的总堆积数 如果Kafka实例开启SASL认证,则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数: --command-config {SASL认证的consumer.properties配置文件},“consumer
tash如何对接Kafka实例生产消费消息。 使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。本章节介绍两个Kafka实例如何使用MirrorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因,以及处理措施。
的存储介质中。消费时依次获取分布式消息服务Kafka版中存储的消息。消费者获取消息后,进行消费并记录消费成功或失败的状态,并将消费状态提交到分布式消息服务Kafka版。 在消费过程中,如果出现异常,没有提交消费确认,该批消息会在后续的消费请求中再次被获取。 消息生产与消费的幂等传递
使用对等连接跨VPC访问,访问端口为9093。 DNAT访问,访问端口为9011。 在访问Kafka实例之前,需要确保安全组是否配置正确,配置要求,请参考选择和配置安全组。 父主题: 实例问题
客户端连接Kafka实例前,需要在Kafka实例所属安全组中配置如下安全组规则,否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向 协议 类型 端口
详情页开启密文接入功能。然后在控制台的“用户管理”页面,获取用户名。 如果需要对指定客户端进行流量控制,请在客户端配置中获取client ID。 如果需要对指定Topic进行流量控制,请在控制台的“Topic管理”页面,获取Topic名称。 创建用户/客户端流控 登录管理控制台。
存储空间账单。 在Kafka实例列表页面如下图所示位置单击鼠标左键,复制实例的资源ID。 图2 获取资源ID(实例) 单击实例名称,进入实例详情页,查看存储空间的资源ID。 图3 获取资源ID(存储空间) 进入“费用中心 > 流水和明细账单”页面。 选择“明细账单”,在筛选条件中
{ip}:{port} 网络正常,如下: 网络异常/不通,如下: 解决方案: 检查是否同一个VPC。如果不是,请参考跨VPC访问。 检查安全组规则是否配置正确。请参考如何选择和配置安全组。 检查Consumer和Producer的配置 查看日志,检查Consumer和Producer初始化时打印的参
小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 修改Topic配置 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
促销季、节假日等,可提前购买包年/包月资源以应对高峰期的需求,避免资源紧张。 数据安全要求高:对于对数据安全性要求较高的业务,包年/包月计费模式可确保资源的持续使用,降低因资源欠费而导致的数据安全风险。 适用计费项 分布式消息服务Kafka版对您选择的Kafka实例和Kafka的
用。如果想要停止计费,请在回收站中删除实例。 通过账单查找云服务资源并停止计费 为了确保所有计费资源都能够被找到并删除,您可以在费用账单中获取计费资源的ID,通过这些ID信息找到具体的资源,然后将其一一删除。具体操作如下: 进入“费用中心 > 流水和明细账单”页面。 选择“明细账
费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。
无法缩容。 单机实例不支持修改代理规格。 修改VPC/子网/可用区 实例创建后,不支持修改VPC/子网/可用区。 是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之