检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
3~50 250000 2000 200 4000 300GB~1500000GB 750 实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型)
9011被外部请求访问。 如果客户端在其他网络环境,或者与Kafka实例处于不同region,则访问实例的公网地址。 公网访问时,注意修改Kafka实例的安全组,允许端口9094(明文接入)/9095(密文接入)被外部网络访问。 不同网络环境,对于客户端配置来说,只是连接地址的差
通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
择。 图2 规格测算 设置网络信息。 表3 实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。
独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。 在网络通信方面,除了提供SASL(Simple Authentication and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副
例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化
20数据。 表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题: 查看监控指标与配置告警
broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位:Byte/s 2020年6月及以后购买的实例,支持此监控项。 0~1000000000 Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
图解Kafka、RabbitMQ和RocketMQ的差异
IP的连接数,即修改max.connections.per.ip参数值。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时,实例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。
云)的ID。请参考创建实例获取。 security_group_id:安全组ID。请参考创建实例获取。 subnet_id:VPC内子网的网络ID。请参考创建实例获取。 available_zones:创建节点到指定的AZ ID,该参数不能为空数组或者数组的值为空,请参考查询可用区信息获取。
看Kafka实例各项监控指标。 支持区域: 全部 监控指标有哪些? 必须配置的监控告警有哪些? 如何查看监控数据? 审计 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,您可以通过CTS对Kafka实例的操作记录进行收集、存
据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息失败第二个发送成功,则第二条消息会比第一条消息出现要早。 针对网络闪断场景,生产者建议配置重试能力,推荐重试次数retries=3,重试间隔retry.backoff.ms=1000。 request.timeout
生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如消费者故障、消费者网络异常等)导致无法消费消息。 Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆
息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电,使用消息确认(ACK)机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况,用户除了做好消息生产与消费的确认,还需要配合分布式消息服务Kafka版完成消息发送与消费的重复传输设计。 当无法确认消息是
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
评估业务影响,建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中,节点滚动重启造成分区Leader切换,会发生秒级连接闪断,在用户网络环境稳定的前提下,Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka