云服务器内容精选

  • 配置RabbitMQ镜像队列 登录RabbitMQ实例的Web UI。 在菜单栏,选择“Admin”。 图1 选择Admin菜单 (可选)如果您需要设置指定Vhost,请执行本步骤;如果不需要,请直接执行4。 选择右侧导航栏“Virtual Hosts”,然后输入“Name”,单击“Add virtual host”,创建Vhost。 图2 创建Vhost 选择右侧导航栏“Policies”,为Vhost设置策略。 图3 设置Vhost策略 表1 策略参数说明 参数 说明 Virtual Host 设置策略所应用的Vhost。如果为指定的Vhost设置,请在“Virtual Host”选择3创建的Vhost;如果没有,则默认为“/”。 Name 策略的名称,用户自定义。 Pattern Queue的匹配模式(正则表达式)。 Apply to 策略所适用的目标。 Priority 策略的优先级,数字越大,优先级越高。 Definition 镜像定义,包括三个部分ha-sync-mode、ha-mode、ha-params。 ha-sync-mode: 表示镜像队列中消息的同步方式,有效取值范围为:automatic和manual。 automatic:表示自动向master同步数据。 manual:表示手动向master同步数据。 ha-mode: 指明镜像队列的模式,有效取值范围为:all、exactly和nodes。 all:表示在集群所有的节点上进行镜像。 exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定。 nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定。 ha-params: ha-mode模式需要用到的参数。 说明: 如果将队列镜像到集群所有节点上,可能会导致集群承受不必要的网络及磁盘I/O流量。因此,推荐您使用以下参数配置: ha-sync-mode: automatic ha-mode: exactly ha-params: n/2+1,其中n表示集群中总节点数量。 例如集群总节点数为3,ha-params设置为3/2+1=2,此时队列将镜像到一个主节点和一个从节点上。这样配置既保证了数据的高可用性,又避免了不必要的资源开销。 单击“Add policy”。 策略添加成功后如下图所示。 图4 Vhost策略
  • 仲裁队列与镜像队列的差异 仲裁队列是RabbitMQ 3.8版本引入的队列类型,它与镜像队列拥有类似的功能,为RabbitMQ提供高可用的队列。镜像队列有一些设计上的缺陷,这也是RabbitMQ提供仲裁队列的原因。 镜像队列主要的缺陷在于消息同步的性能低。 镜像队列包含一个主队列和多个从队列,当生产者向主队列发送一条消息,主队列会将消息同步给从队列,所有的从队列都保存消息后,主队列才会向生产者发送确认。 RabbitMQ使用集群部署时,如果其中一个节点故障下线,待它消除故障重新上线后,它保存的所有从队列的数据都会丢失。此时运维人员需要选择是否同步主队列的数据到从队列中,如果不同步数据,会增加消息丢失的风险。如果同步数据,同步时队列是阻塞的,无法对其进行操作。当队列中存在大量堆积消息时,同步会导致队列几分钟、几小时或者更长时间不可用。
  • 配置仲裁队列的长度 通过配置Policy或者队列属性的方式可以限制仲裁队列的长度和在内存中保存的长度。 x-max-length:仲裁队列最大消息数。如果超过则丢弃消息,或者发送到死信交换器。 x-max-length-bytes:仲裁队列最大总消息大小(字节数)。如果超过则丢弃消息,或者发送到死信交换器。 x-max-in-memory-length:限制仲裁队列的内存中最大消息数量。 x-max-in-memory-bytes:限制仲裁队列的内存中的最大总消息大小(字节数)。
  • 方法五:调用API批量删除队列 在RabbitMQ实例未开启SSL时,通过编写Shell脚本循环调用API执行删除命令,实现批量删除队列。 在Linux系统中连接RabbitMQ实例,具体步骤请参考使用客户端连接RabbitMQ(关闭SSL)。 创建“delete_queues.sh”脚本文件。 touch delete_queues.sh 执行以下命令,编辑脚本。 vim delete_queues.sh 将以下内容复制到脚本中,其中USERNAME、PASSWORD、HOST和QUEUES_LIST的值,请根据实际情况修改。 #!/usr/bin/env bash USERNAME=root PASSWORD=Zsxxxdx HOST=192.168.0.241 PORT=15672 VHOST='%2F' QUEUES_LIST="test1 test2 test3"; for QUEUE_NAME in $QUEUES_LIST : do curl -i -XDELETE http://$USERNAME:$PASSWORD@$HOST:$PORT/api/queues/$VHOST/$QUEUE_NAME done 参数说明如下: USERNAME:创建实例时设置的用户名。 PASSWORD:创建实例时设置的密码,如果忘记密码,参考重置RabbitMQ实例密码,重新设置密码。 HOST:在实例详情页,查看Web界面UI地址。 PORT:在实例详情页,查看Web界面UI端口号。 VHOST:Vhost名称,默认为“/”,在命令中设置为“%2F”。 QUEUES_LIST:待删除队列的名称,队列名称之间使用空格隔开。 保存脚本内容。 对脚本进行授权。 chmod 777 delete_queues.sh 执行脚本。 sh delete_queues.sh 删除成功后,回显如下: 图6 批量删除队列成功 您还可以在WebUI页面的“Queues”页签,查看队列是否成功删除。
  • 方法四:调用API删除单个队列 在RabbitMQ实例未开启SSL时,通过调用API删除单个队列。 在Linux系统中连接RabbitMQ实例,具体步骤请参考使用客户端连接RabbitMQ(关闭SSL)。 执行以下命令删除单个队列。 curl -i -XDELETE http://${USERNAME}:${PASSWORD}@${HOST}:${PORT}/api/queues/${VHOST_NAME}/${QUEUE_NAME} 参数说明如下: USERNAME:创建实例时设置的用户名。 PASSWORD:创建实例时设置的密码,如果忘记密码,参考重置RabbitMQ实例密码,重新设置密码。 HOST:在实例详情页,查看Web界面UI地址。 PORT:在实例详情页,查看Web界面UI端口号。 VHOST_NAME:Vhost名称,默认为“/”,在命令中设置为“%2F”。 QUEUE_NAME:待删除队列的名称。 示例如下: curl-i -XDELETE http://test:Zsxxxdx@192.168.0.241:15672/api/queues/%2F/hello 删除成功后,回显如下: 图5 删除队列成功 您还可以在WebUI页面的“Queues”页签,查看队列是否成功删除。
  • 使用场景 默认情况下,RabbitMQ生产者生产的消息存储在内存中,当需要释放内存时,会将内存中的消息换页至磁盘中。换页操作会消耗较长的时间,且换页过程中队列无法处理消息。 如果生产速度过快(例如执行批处理任务),或者消费者由于各种原因(例如消费者下线、宕机)长时间内无法消费消息,导致消息大量堆积,使得内存使用率过高,换页频繁,可能会影响其他队列的消息收发。这种场景下,建议您启用惰性队列。 惰性队列(Lazy Queue)会尽可能的将消息存入磁盘中,在消费者消费到相应的消息时才会被加载到内存中,这样可以减少内存的消耗,但是会增加I/O的使用,影响单个队列的吞吐量。惰性队列的一个重要的设计目标是能够支持更长的队列,即支持更多的消息存储/消息堆积。 在以下情况下,推荐使用惰性队列: 队列可能会产生消息堆积 队列对性能(吞吐量)的要求不是非常高,例如TPS 1万以下的场景 希望队列有稳定的生产消费性能,不受内存影响而波动 处于以下情况时,无需使用惰性队列: RabbitMQ需要高性能的场景 队列总是很短(即队列中没有消息堆积) 设置了最大长度策略 更多关于惰性队列的说明,请参考Lazy Queues。 仅RabbitMQ 3.8.35版本支持惰性队列。