检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将IPv6地址加入到共享带宽中,实现客户端通过公网访问Kafka实例。 配置Kafka实例的公网访问 使用DNAT通过端口映射方式,实现客户端通过公网连接Kafka实例。 使用DNAT实现公网访问Kafka 内网连接 客户端和Kafka实例部署在同一个VPC中,此时网络默认互通。
TCP IPv4 9092 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(关闭SSL加密)。 入方向 TCP IPv4 9093 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(开启SSL加密)。 创建安全
败,把鼠标放在“变更失败”上,显示变更失败的原因。 实例状态为“变更失败”时,无法对实例进行重启、修改和删除等操作。等一段时间实例状态会自动从“变更失败”变为“运行中”,此时可以继续对实例进行操作。如果未变为“运行中”,请联系客服处理。 扩容基准带宽后,为了提高可靠性,需要在客户端连接配置中增加新扩容代理的IP地址。
创建Kafka实例 当前页面API为历史版本API,未来可能停止维护。请使用创建实例。 功能介绍 创建实例,该接口创建的实例为按需计费的方式。 URI POST /v1.0/{project_id}/instances 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id
查询产品规格列表 当前页面API为历史版本API,未来可能停止维护。请使用查询产品规格列表。 功能介绍 在创建kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。 例如,要订购按需计费、基准带宽为100MB的kafka实例,可从接口响应消
如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当
PC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 父主题: 连接问题
批量重启、删除实例 当前页面API为历史版本API,未来可能停止维护。请使用批量重启或删除实例。 功能介绍 批量重启或删除实例。 在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。 实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。 URI POST /v1.0
用户名 输入前提条件中获取的用户名,对此用户进行流控。如果需要对所有用户进行流控,在“用户名”后,单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入前提条件中获取的客户端ID,对此客户端进行流控。如果需要对所有客户端进行流控,在“客户端ID”后,单击“选择默认”。
情页如果未显示“开启的SASL认证机制”,默认使用PLAIN机制。 图3 开启的SASL认证机制 Kafka安全协议在Kafka实例控制台的基本信息页面中获取。很久前创建的Kafka实例在详情页如果未显示“启用的安全协议”,默认使用SASL_SSL协议。 图4 启用的安全协议 如
假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2有2个Zookeeper节点。如果可用区1故障,则Kafka实例能正常使用;如果可用区2故障,则不能正常使用。Kafka实例可用的场景只有50%,所以不支持选择2个可用区。 父主题: 实例问题
Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费
重平衡日志默认存储时间为七天,如果需要延长保留天数,可以在LTS控制台修改日志组的存储时间。 重平衡日志开启后会在LTS控制台创建对应的日志组、日志流和仪表盘。使用期间按照日志量收费,收费标准请参照LTS价格详情。 前提条件 开启重平衡日志需要您的账号拥有LTS服务的创建日志组和日志流的权限。 Kaf
既未采用SSL证书进行加密传输,也不支持账号密码认证。性能更好,安全性较低,建议在生产环境下公网访问不使用此方式。 SASL_SSL: 采用SSL证书进行加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT: 明文传输,支持账号密码认证,性能更好,建议使用SCRAM-SHA-512机制。
ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码,
详情页面不显示创建时间。 2023年7月10日以及之前创建的Topic。 自动创建的Topic、在客户端使用命令行创建的Topic、在客户端通过代码创建的Topic、以及使用Kafka Manager创建的Topic。 订阅关系:包含消费组名称、消费组状态、Coordinator(ID)和堆积数。
Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据,然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时,由于Kafka的高吞吐量,可以存储大量数据。 Kafka实例作为Logstash输入源的示意图如下。
a要求至少保留一个segment文件用来存储消息,如果正在使用的segment文件中包含超过老化时间的消息,由于此时segment文件不会被删除,所以超过老化时间的消息也不会被删除。 处理方法:等待segment文件被使用完,或者删除超过老化时间的消息所在的Topic。 可能原因2:Topic中存在一条create
在左侧导航栏,单击“消费组管理”,进入消费组列表页面。 查看消息堆积的消费组是否有消费者在消费,如果有,让业务方加快消费效率,如果没有,让客户酌情删掉不使用的消费组。 处理方法2: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,选择“分析与诊断 > 消息积压诊断”,进入消息积压诊断页面。
cluster*3。因为该Kafka实例打算长期使用下去,于2023/03/20 10:30:00将Kafka实例转为包年/包月计费,购买时长为1个月。那么在3~4月份,该Kafka实例总共产生多少费用呢? 计费构成分析 可以将Kafka实例的使用阶段按照计费模式分为两段:在2023/03/18