检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息/邮件。 代理(Broker) 即Kafka集群架构设计中的单个Kafka进程,一个Kafka进程对应一台服务器,因此手册中描述的代理,还包括对应的存储、带宽等服务器资源。 分区(Partition) 为了实现水平扩展与高可用,Kafka将Topic划分为多个分区,消息被分布式存储在分区中。
是否开启新证书。 cross_vpc_info String 跨VPC访问信息。 ipv6_enable Boolean 是否开启ipv6。 ipv6_connect_addresses Array of strings IPv6的连接地址。 connector_enable Boolean
表示包周期计费模式的相关参数。 如果为空,则默认计费模式为按需计费;否则是包周期方式。 tenant_ips 否 Array of strings 指定的内网IP地址,仅支持指定IPv4。 指定的IP数量只能小于等于新增节点数量。 当指定IP数量小于节点数量时,系统会自动为剩余代理分配IP地址。 表3 TagEntity
####################### #设置SASL认证机制、账号和密码。 #sasl.mechanism为SASL认证机制,username和password为SASL的用户名和密码,参考“收集连接信息”章节获取。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 #SASL认
例如:“num.partitions”修改为“5”,自动创建的Topic参数值如表1所示。 表1 Topic参数值 参数名称 单机实例默认值 集群实例默认值 集群实例修改后的值 分区数 1 3 5 副本数 1 3 3 老化时间 72小时 72小时 72小时 同步复制 不开启 不开启 不开启
kafka-go的代码库相对较小,依赖较少,可以减少应用程序的体积和依赖关系。 Kafka-go相对于Confluent-Kafka-go来说,功能较为有限,不支持一些高级特性和复杂的配置选项。 性能和吞吐量较低,适用于一些对性能要求不高的简单应用场景。 Sarama Sarama采用原生Golang语言编写,对于异步以及高并发操作支持度较好。
提高Kafka消息处理效率 消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。 对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议:
vpc:ports:get vpc:subnets:get vpc:vpcs:list vpc:publicIps:get vpc:publicIps:list vpc:ports:update vpc:publicIps:update vpc:ports:delete dms:instance:getBackgroundTask
用,实时查看和管理消息实例。 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。 易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。
范围8到2400,且必须为实例节点个数的倍数。 publicip_id String 否 实例绑定的弹性IP地址的ID。 以英文逗号隔开多个弹性IP地址的ID。 如果开启了公网访问功能(即enable_publicip为true),该字段为必选。 ssl_enable Boolean
客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消费组客户端真正下线。 URI POST /v1.0/{project_id}/instances/{ins
退订”,退订成功后,Kafka实例会自动被删除。 删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策略,实例删除后,实例中原有的数据将被删除,且没有备份。回收站策略默认关闭,如果需要开启,具体步骤请参见开启回收站策略。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 删除Kafka实例
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
minutes、auto.create.groups.enable参数有关: 2023年4月25日前创建的实例,auto.create.groups.enable默认为true,消费组多久后会自动被删除取决于offsets.retention.minutes,offsets.retention.minu
sasl.mechanism=PLAIN 参数说明如下:username和password为首次开启密文接入时填入的用户名和密码,或者创建用户时设置的用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过此步骤,执行2。否则在Kafka客户端的“
前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值95%后,依旧可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据可能会丢失。
通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。 排查EIP流量情况,发现入流量存在下降的场景。 联系EIP服务技术人员协助排查,未发现问题。 从业务日志中分析消费组行为。 通过查看服务端日志,消费组存在大量rebalan
服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CTS支持追踪的DMS
用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器(区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,Linux系统),具体步骤请参考购买弹性云服务器。 购买完成ECS后,需要在ECS中完成以下配置: 安装Java JDK,并配置JAVA_HOME与PATH环境变量。