检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU使用率高的处理措施: 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。 num.replica
磁盘类型支持高I/O、超高I/O、极速型SSD和通用型SSD,更多磁盘信息请参考如何选择磁盘类型。 图1 综合推荐 规格测算:系统根据您选择的版本号和输入的参数(生产流量峰值、消费流量、单个Topic副本数、总分区数和老化时间内的生产消息量),为您计算出不同规格所需的代理个数和代理存储空间,您根据实际情况选择。
Kafka使用场景 与RabbitMQ、RocketMQ的差异 产品规格 03 入门 创建Kafka实例之后,您可以通过命令行模式和客户端方式连接实例进行生产消息和消费消息。 命令行模式连接 连接未开启SASL的实例 连接已开启SASL的实例 客户端方式连接 Java客户端 Python客户端 Go客户端
创建实例时为什么无法查看子网和安全组等信息? 如何选择Kafka实例的存储空间? Kafka实例的超高IO和高IO如何选择? 如何选择Kafka实例存储容量阈值策略? Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口?
网关。 图2 购买公网NAT网关 单击“立即购买”,进入规格确认页面。 确认规格无误后,如果“计费模式”选择“包年/包月”,单击“去支付”。根据界面提示信息,支付费用。如果“计费模式”选择“按需付费”,单击“提交”。 步骤三:添加DNAT规则 在“公网NAT网关”页面,在新购买的
存储空间的费用。 包年/包月的实例从回收站中恢复后,计费模式会变为按需计费。 处于宽限期和保留期的实例,删除/退订后,实例不会进入回收站中,会被彻底删除。 回收站功能仅在“华北-北京一”、“华北-北京四”、“华东-上海一”和“华南-广州”上线。 开启回收站策略 登录管理控制台。
用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
维护时间窗开始时间,格式为HH:mm:ss。 维护时间窗开始和结束时间必须为指定的时间段,可参考查询维护时间窗时间段。 开始时间必须为22:00:00、02:00:00、06:00:00、10:00:00、14:00:00和18:00:00。 该参数不能单独为空,若该值为空,则结束
见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议,以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询(Polling)
Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也
根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
以进行分区平衡,建议预留足够的带宽进行分区平衡,CPU使用率在90%以上时,不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看,具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行副本同步的带宽上限,确保
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾
可以通过修改Kafka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问关闭SASL的Kafka实例前,Kaf
查看和修改Kafka实例基本信息 创建Kafka实例成功后,您可以在控制台查看Kafka实例的详细信息,并根据自己的业务情况对Kafka实例的部分参数进行调整,包括实例名称、描述、安全组和容量阈值策略等。 约束与限制 单机实例不支持修改Smart Connect和内网访问。 前提条件
/包月计费,购买时长为1个月。那么在3~4月份,该Kafka实例总共产生多少费用呢? 计费构成分析 可以将Kafka实例的使用阶段按照计费模式分为两段:在2023/03/18 15:30:00 ~ 2023/03/20 10:30:00期间为按需计费,2023/03/20 10:30:00
内建的分布式集群技术,使得服务具有高度扩展性。分区数可配置多达200个,存储空间、代理数量和代理规格支持弹性扩展,保证在高并发、高性能和大规模场景下的访问能力,轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置,并且自定义Topic的分区数、副本数。
参数说明: username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SCRAM-SHA-512机制:在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.prope
果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予DMS FullAccess的系统策略,但不希望用户拥有DMS FullAccess中定义的删除实例权限,您可以创建一条拒绝删除实例的自定义策略,然后同时将DMS FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对DMS
SL_SSL或者SASL_PLAINTEEXT表示密文接入。 内网访问不支持关闭,明文接入和密文接入至少开启一个。 跨VPC访问的安全协议等于内网访问的安全协议,若内网同时开启了密文访问和明文访问,则跨VPC访问的安全协议会优先使用密文访问的安全协议。 retention_policy