RabbitMQ基础学习笔记

学习时间：2024年7月1日

1 初识 MQ

1.1 同步通讯和异步通讯

微服务间通讯有同步和异步两种方式：

  • 同步通讯：就像打电话，需要实时响应。

  • 异步通讯：就像发邮件，不需要马上回复。

image-20220102120026143

两种方式各有优劣，打电话可以立即得到响应，但是你却不能跟多个人同时通话。发送邮件可以同时与多个人收发邮件，但是往往响应会有延迟。

1.1.1 同步通讯

我们之前学习的Feign调用就属于同步方式，虽然调用可以实时得到结果，但存在下面的问题：

image-20220102120123147

总结

同步调用的优点：

  • 时效性较强，可以立即得到结果

同步调用的问题：

  • 耦合度高
  • 性能和吞吐能力下降
  • 有额外的资源消耗
  • 有级联失败问题

1.1.2 异步通讯

异步调用则可以避免上述问题：

我们以购买商品为例，用户支付后需要调用订单服务完成订单状态修改，调用物流服务，从仓库分配响应的库存并准备发货。

在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布一个支付成功的事件（event），事件中带上订单id。

订单服务和物流服务是事件订阅者（Consumer），订阅支付成功的事件，监听到事件后完成自己业务即可。

为了解除事件发布者与订阅者之间的耦合，两者并不是直接通信，而是有一个中间人（Broker）。发布者发布事件到Broker，不关心谁来订阅事件。订阅者从Broker订阅事件，不关心谁发来的消息。

image-20220103104530265

Broker 是一个像数据总线一样的东西，所有的服务要接收数据和发送数据都发到这个总线上，这个总线就像协议一样，让服务间的通讯变得标准和可控。

好处

  • 吞吐量提升：无需等待订阅者处理完成，响应更快速

  • 故障隔离：服务没有直接调用，不存在级联失败问题

  • 调用间没有阻塞，不会造成无效的资源占用

  • 耦合度极低，每个服务都可以灵活插拔，可替换

  • 流量削峰：不管发布事件的流量波动多大，都由Broker接收，订阅者可以按照自己的速度去处理事件

缺点

  • 架构复杂了，业务没有明显的流程线，不好管理
  • 需要依赖于Broker的可靠、安全、性能

现在开源软件或云平台上 Broker 的软件是非常成熟的，比较常见的一种就是我们今天要学习的MQ技术。

1.2 MQ技术对比

MQ，中文是消息队列（Message Queue），字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。

比较常见的MQ实现：

  • ActiveMQ
  • RabbitMQ
  • RocketMQ
  • Kafka

技术对比

RabbitMQ ActiveMQ RocketMQ Kafka
公司/社区 Rabbit Apache 阿里 Apache
开发语言 Erlang Java Java Scala&Java
协议支持 AMQP，XMPP，SMTP，STOMP OpenWire,STOMP，REST,XMPP,AMQP 自定义协议 自定义协议
可用性 高 一般 高 高
单机吞吐量 一般 差 高 非常高
消息延迟 微秒级 毫秒级 毫秒级 毫秒以内
消息可靠性 高 一般 高 一般

  • 追求可用性：Kafka、 RocketMQ 、RabbitMQ

  • 追求可靠性：RabbitMQ、RocketMQ

  • 追求吞吐能力：RocketMQ、Kafka

  • 追求消息低延迟：RabbitMQ、Kafka

2 部署和概述

2.1 RabbitMQ部署

RabbitMQ是基于Erlang语言开发的开源消息通信中间件，官网地址：https://www.rabbitmq.com/

2.1.1 单机部署

我们在Centos7虚拟机中使用Docker来安装。

下载镜像

  1. 方法1：在线拉取镜像
1
docker pull rabbitmq:3-management
  1. 从本地加载
1
docker load -i mq.tar

image-20220103105746637

安装MQ

执行下面的命令来运行MQ容器：

1
2
3
4
5
6
7
8
9
docker run \
 -e RABBITMQ_DEFAULT_USER=xxxx \
 -e RABBITMQ_DEFAULT_PASS=xxxxx \
 --name mq \ # 容器名称
 --hostname mq1 \ # mq主机名，做集群部署需要用到，单机部署可不用
 -p 15672:15672 \ # 可视化管理界面的端口
 -p 5672:5672 \ # 消息通信的端口
 -d \
 rabbitmq:3-management

image-20220103110156224

进入可视化管理界面：

image-20220103110355645

image-20220103110448616

2.1.2 集群部署

在RabbitMQ的官方文档中，讲述了两种集群的配置方式：

  • 普通模式：普通模式集群不进行数据同步，每个MQ都有自己的队列、数据信息（其它元数据信息如交换机等会同步）。例如我们有2个MQ：mq1，和mq2，如果你的消息在mq1，而你连接到了mq2，那么mq2会去mq1拉取消息，然后返回给你。如果mq1宕机，消息就会丢失。
  • 镜像模式：与普通模式不同，队列会在各个mq的镜像节点之间同步，因此你连接到任何一个镜像节点，均可获取到消息。而且如果一个节点宕机，并不会导致数据丢失。不过，这种方式增加了数据同步的带宽消耗。

步骤

首先，我们需要让3台MQ互相知道对方的存在。

分别在3台机器中，设置 /etc/hosts文件，添加如下内容：

1
2
3
192.168.150.101 mq1
192.168.150.102 mq2
192.168.150.103 mq3

并在每台机器上测试，是否可以ping通对方即可。

2.1.3 MQ基本结构

image-20220103110844350

RabbitMQ中的一些角色：

  • publisher：生产者
  • consumer：消费者
  • exchange：交换机，负责消息路由
  • queue：队列，存储消息。生产者投递的消息会暂存在消息队列中，等待消费者处理。
  • virtualHost：虚拟主机（逻辑分组），隔离不同租户的exchange、queue、消息的隔离

2.2 RabbitMQ消息模型

RabbitMQ官方提供了6个不同的Demo示例，对应了不同的消息模型。

  • 基本消息队列（BasicQueue）

image-20220103111431627

  • 工作消息队列（WorkQueue）

image-20220103111632855

  • 发布订阅（publish，subscribe），又根据交换机类型不同分为4种：

    • 广播Fanout exchange：

    image-20220103111923771

    • 路由Direct Exchange：

    image-20220103111951543

    • 主题Topic Exchange：

    image-20220103112018982

    • RPC

    image-20220103112044686

3 入门案例

官方的HelloWorld是基于最基础的消息队列模型来实现的，只包括三个角色：

  • publisher：消息发布者，将消息发送到队列queue

  • queue：消息队列，负责接受并缓存消息

  • consumer：订阅队列，处理队列中的消息

image-20220103112240362

3.1 导入demo工程

课前资料提供了一个Demo工程，mq-demo，导入后可以看到结构如下：

image-20220105191653006

包括三部分：

  • mq-demo：父工程，管理项目依赖
  • publisher：消息的发送者
  • consumer：消息的消费者

3.2 发布者流程

  • 建立连接
  • 创建Channel
  • 声明队列
  • 发送消息
  • 关闭连接和channel

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
public class PublisherTest {
    @Test
    public void testSendMessage() throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("XXX.XXX.XXX.XX");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("XXXXXX");
        factory.setPassword("XXXXXXXX");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.发送消息
        String message = "hello, rabbitmq!";
        channel.basicPublish("", queueName, null, message.getBytes());
        System.out.println("发送消息成功：【" + message + "】");

        // 5.关闭通道和连接
        channel.close();
        connection.close();
    }
}

执行流程

  1. 建立连接

image-20220105191122881

  1. 创建通道Channel

image-20220105191202463

  1. 创建队列simple.queue

image-20220105191252370

  1. 发送消息和在可视化界面查看消息

image-20220105191420118

image-20220105191518919

  1. 控制台结果：

image-20220105192113310

3.3 接收者流程

  • 建立连接
  • 创建Channel
  • 声明队列（保险措施）
  • 订阅消息

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public class ConsumerTest {

    public static void main(String[] args) throws IOException, TimeoutException {
        // 1.建立连接
        ConnectionFactory factory = new ConnectionFactory();
        // 1.1.设置连接参数，分别是：主机名、端口号、vhost、用户名、密码
        factory.setHost("XXX.XXX.XXX.XXX");
        factory.setPort(5672);
        factory.setVirtualHost("/");
        factory.setUsername("XXX");
        factory.setPassword("XXXXXXX");
        // 1.2.建立连接
        Connection connection = factory.newConnection();

        // 2.创建通道Channel
        Channel channel = connection.createChannel();

        // 3.创建队列
        String queueName = "simple.queue";
        channel.queueDeclare(queueName, false, false, false, null);

        // 4.订阅消息
        channel.basicConsume(queueName, true, new DefaultConsumer(channel){
            @Override
            public void handleDelivery(String consumerTag, Envelope envelope,
                                       AMQP.BasicProperties properties, byte[] body) throws IOException {
                // 5.处理消息
                String message = new String(body);
                System.out.println("接收到消息：【" + message + "】");
            }
        });
        // 注意这条语句会先打印
        System.out.println("等待接收消息。。。。");
    }
}

执行流程

  1. 建立连接

image-20220105192341327

  1. 创建通道channel

image-20220105192424749

  1. 声明队列（保险措施）

  2. 订阅消息

  3. 控制台执行结果：

image-20220105192822917

3.4 流程总结

  • 基本消息队列的消息发送流程：

    • 建立connection
    • 创建channel
    • 利用channel声明队列
    • 利用channel向队列发送消息

  • 基本消息队列的消息接收流程：

    • 建立connection
    • 创建channel
    • 利用channel声明队列
    • 定义consumer的消费行为handleDelivery()
    • 利用channel将消费者与队列绑定

4 Spring AMQP

4.1 概述

Spring AMQP是基于RabbitMQ封装的一套模板，并且还利用SpringBoot对其实现了自动装配，使用起来非常方便。

SpringAMQP的官方地址：https://spring.io/projects/spring-amqp

image-20220105193611137

image-20220105193619116

SpringAMQP提供了三个功能：

  • 自动声明队列、交换机及其绑定关系
  • 基于注解的监听器模式，异步接收消息
  • 封装了RabbitTemplate工具，用于发送消息

4.2 Basic Queue 简单队列模型

在父工程mq-demo中引入SpringAMQP依赖：

1
2
3
4
5
<!--AMQP依赖，包含RabbitMQ-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

4.2.1 消息发送

  1. 首先配置MQ地址，在publisher服务的application.yml中添加配置：
1
2
3
4
5
6
7
spring:
  rabbitmq:
    host: XXX.XXX.XXX.XXX # rabbitmq服务器地址
    port: 5672 # rabbitmq服务器端口
    virtual-host: / # 虚拟主机
    username: XXXXXX # 用户名
    password: XXXXXX # 密码
  1. 在publisher服务中编写测试类SpringAmqpTest，并利用RabbitTemplate实现消息发送：

image-20220105194741867

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
    
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Test
    public void testSendMessage2SimpleQueue() {
        // 队列名称
        String queueName = "simple.queue";
        // 发送的消息
        String message = "Hello, SpringAMQP!";
        // 发送消息
        rabbitTemplate.convertAndSend(queueName, message);
    }
}

执行结果：

image-20220105194828124

image-20220105194841743

4.2.2 接收消息

  1. 首先配置MQ地址，在consumer服务的application.yml中添加配置（同publisher）。

  2. 在consumer服务的cn.itcast.mq.listener包中新建一个类SpringRabbitListener，代码如下：

image-20220105195557109

1
2
3
4
5
6
7
8
public class SpringRabbitListener {
    
    @RabbitListener(queues = "simple.queue")
    public void listenSimpleQueue(String msg) {
        System.out.println("消费者接收到simple.queue的消息：" + msg);
    }
    
}
  1. 启动consumer服务，即可接收到消息

image-20220105195709728

simple.queue的状态：

image-20220105195729618

可见消息已被取走，消息队列为空。

注意：在这种方式下，先启动消费者，会报错：

1
no queue 'simple.queue' in vhost '/'

原因在于，RabbitMQ不会自动创建出队列。应该先启动生产者，然后再启动消费者。

4.3 WorkQueue 工作队列模型

Work queues，也被称为（Task queues），任务模型。简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息。

image-20220106125156558

当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。

此时就可以使用work 模型，多个消费者共同处理消息处理，速度就能大大提高了。

4.3.1 发送和接收

  • 发送

这次我们循环发送，模拟大量消息堆积现象。

在publisher服务中的SpringAmqpTest类中添加一个测试方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
/**
 * workQueue
 * 向队列中不停发送消息，模拟消息堆积。
 */
@Test
public void testSendMessage2WorkQueue() throws InterruptedException {
  String queueName = "simple.queue";
  String message = "Hello, message!";
  for (int i = 0; i < 50; i++) {
    rabbitTemplate.convertAndSend(queueName, message + i);
    // 每0.02s休息一下，总共1s发完
    TimeUnit.MILLISECONDS.sleep(20);
  }
}
  • 接收

要模拟多个消费者绑定同一个队列，我们在consumer服务的SpringRabbitListener中添加2个新的方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
@RabbitListener(queues = "simple.queue")
public void listenWorkQueue1(String msg) throws InterruptedException {
  System.out.println("消费者1^^^接收到simple.queue的消息：[" + msg + "]" + LocalTime.now());
  // 每0.02s休息一下，单独接收时1s接收完毕
  TimeUnit.MILLISECONDS.sleep(20);
}

@RabbitListener(queues = "simple.queue")
public void listenWorkQueue2(String msg) throws InterruptedException {
  System.err.println("消费者2...接收到simple.queue的消息：[" + msg + "]" + LocalTime.now());
  // 模拟更慢的接收方
  // 每0.2s休息一下，单独接收时10s接收完毕
  TimeUnit.MILLISECONDS.sleep(200);
}
  • 测试：打印结果

image-20220106125823237

image-20220106125844437

总耗时：5s

启动ConsumerApplication后，在执行publisher服务中刚刚编写的发送测试方法testWorkQueue。

可以看到消费者1很快完成了自己的25条消息。消费者2却在缓慢的处理自己的25条消息。也就是说消息是平均分配给每个消费者，并没有考虑到消费者的处理能力。这样显然是有问题的。

4.3.2 能者多劳

消费预取限制：在spring中有一个简单的配置，可以解决这个问题。我们修改consumer服务的application.yml文件，添加配置，设置preFetch这个值，可以控制预取消息的上限：

1
2
3
4
5
spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息，处理完成才能获取下一个消息
  • 测试

image-20220106130152823

image-20220106130205961

总耗时：3s，这样处理使得消息大部分交由处理得快的消费者consumer1来消费。

4.4 发布/订阅模型

发布订阅的模型如图：

image-20220106161901128

可以看到，在订阅模型中，多了一个exchange角色，而且过程略有变化：

  • Publisher：生产者，也就是要发送消息的程序，但是不再发送到队列中，而是发给exchange（交换机）
  • Exchange：交换机。一方面，接收生产者发送的消息。另一方面，知道如何处理消息，例如递交给某个特别队列、递交给所有队列、或是将消息丢弃。到底如何操作，取决于Exchange的类型。Exchange有以下3种类型：
    • Fanout：广播，将消息交给所有绑定到交换机的队列
    • Direct：定向，把消息交给符合指定routing key 的队列
    • Topic：通配符，把消息交给符合routing pattern（路由模式） 的队列
  • Consumer：消费者，与以前一样，订阅队列，没有变化
  • Queue：消息队列也与以前一样，接收消息、缓存消息。

Exchange（交换机）只负责转发消息，不具备存储消息的能力，因此如果没有任何队列与Exchange绑定，或者没有符合路由规则的队列，那么消息会丢失！

4.4.1 Fanout

Fanout，英文翻译是扇出，我觉得在MQ中叫广播更合适。

image-20220106162037179

在广播模式下，消息发送流程是这样的：

  • 可以有多个队列queue
  • 每个队列都要绑定到Exchange（交换机）
  • 生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定
  • 交换机把消息发送给绑定过的所有队列
  • 订阅队列的消费者都能拿到消息

我们的计划是这样的：

  • 创建一个交换机 itcast.fanout，类型是Fanout
  • 创建两个队列fanout.queue1和fanout.queue2，绑定到交换机itcast.fanout

image-20220106163618117

① 声明队列和交换机

Spring提供了一个接口Exchange，来表示所有不同类型的交换机：

image-20220106163659494

在consumer中创建一个类，声明队列和交换机：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
@Configuration
public class FanoutConfig {
    // 声明交换机itcast.fanout
    @Bean
    public FanoutExchange fanoutExchange() {
        return new FanoutExchange("itcast.fanout");
    }

    // 声明队列1
    // fanout.queue1
    @Bean
    public Queue fanoutQueue1(){
        return new Queue("fanout.queue1");
    }

    // 绑定队列1到交换机itcast.fanout
    @Bean
    public Binding fanoutBinding1(Queue fanoutQueue1, FanoutExchange fanoutExchange) {
        return BindingBuilder
                .bind(fanoutQueue1)
                .to(fanoutExchange);
    }

    // 声明队列2
    // fanout.queue2
    @Bean
    public Queue fanoutQueue2(){
        return new Queue("fanout.queue2");
    }

    // 绑定队列2到交换机itcast.fanout
    @Bean
    public Binding fanoutBinding2(Queue fanoutQueue2, FanoutExchange fanoutExchange) {
        return BindingBuilder
                .bind(fanoutQueue2)
                .to(fanoutExchange);
    }
}

启动结果：

  • 新增了一个交换机itcast.fanout

image-20220106162949756

  • 新增了两个队列

image-20220106163003646

  • 查看绑定关系

image-20220106163058420

② 消息发送

在publisher服务的SpringAmqpTest类中添加测试方法：

1
2
3
4
5
6
7
8
9
@Test
public void testSendFanoutExchange() {
  // 交换机名称
  String exchangeName = "itcast.fanout";
  String message = "Hello, everyone!";
  // 共有三个参数，中间的参数暂时省略
  // 向交换机发送消息
  rabbitTemplate.convertAndSend(exchangeName, "", message);
}
③ 消息接收

在consumer服务的SpringRabbitListener中添加两个方法，作为消费者：

1
2
3
4
5
6
7
8
9
10
// 监听两个队列
@RabbitListener(queues = "fanout.queue1")
public void listenFanoutQueue1(String msg) {
  System.out.println("消费者接收到fanout.queue1的消息：[" + msg + "]");
}

@RabbitListener(queues = "fanout.queue2")
public void listenFanoutQueue2(String msg) {
  System.out.println("消费者接收到fanout.queue2的消息：[" + msg + "]");
}

执行结果：

image-20220106164038289

小结

交换机的作用是什么？

  • 接收publisher发送的消息
  • 将消息按照规则路由到与之绑定的队列
  • 不能缓存消息，路由失败，消息丢失
  • FanoutExchange的会将消息路由到每个绑定的队列

声明队列、交换机、绑定关系的Bean是什么？

  • Queue
  • FanoutExchange
  • Binding

4.4.2 Direct

在Fanout模式中，一条消息，会被所有订阅的队列都消费。但是，在某些场景下，我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。

image-20220106170613930

在Direct模型下：

  • 队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）
  • 消息的发送方在 向 Exchange发送消息时，也必须指定消息的 RoutingKey。
  • Exchange不再把消息交给每一个绑定的队列，而是根据消息的Routing Key进行判断，只有队列的Routingkey与消息的 Routing key完全一致，才会接收到消息

案例需求如下：

  1. 利用@RabbitListener声明Exchange、Queue、RoutingKey

  2. 在consumer服务中，编写两个消费者方法，分别监听direct.queue1和direct.queue2

  3. 在publisher中编写测试方法，向itcast. direct发送消息

image-20220106170641725

① 基于注解声明队列和交换机

基于@Bean的方式声明队列和交换机比较麻烦，Spring还提供了基于注解方式来声明。

在consumer的SpringRabbitListener中添加两个消费者，同时基于注解来声明队列和交换机：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
// 基于注解，type默认为direct可不写
@RabbitListener(
  bindings = @QueueBinding(
    value = @Queue(name = "direct.queue1"), // 声明队列direct.queue1
    exchange = @Exchange(name = "itcast.direct", type = ExchangeTypes.DIRECT), // 绑定交换机itcast.direct，方式为DIRECT
    key = {"red", "blue"} // 设置routingKey
  ))
public void listenDirectQueue1(String msg) {
  System.out.println("消费者接收到direct.queue1的消息：[" + msg + "]");
}

@RabbitListener(bindings = @QueueBinding(
  value = @Queue(name = "direct.queue2"),
  exchange = @Exchange(name = "itcast.direct", type = ExchangeTypes.DIRECT),
  key = {"red" ,"yellow"}
))
public void listenDirectQueue2(String msg) {
  System.out.println("消费者接收到direct.queue2的消息：[" + msg + "]");
}

执行结果：

  • 查看交换机

image-20220106170027328

  • 查看队列

image-20220106170042584

  • 绑定关系和routing key

image-20220106170253085

② 消息发送

在publisher服务的SpringAmqpTest类中添加测试方法：

1
2
3
4
5
6
7
8
9
@Test
public void testSendDirectExchange() {
    // 交换机名称
    String exchangeName = "itcast.direct";
    // 发送的消息
    String message = "Hello, red!";
    // 发送消息：交换机，routing key， 消息
    rabbitTemplate.convertAndSend(exchangeName, "red", message);
}

执行结果：

image-20220106170858119

注意：这种方式可以先启动消费者，mq自动创建出交换机和队列。

③ 总结

描述下Direct交换机与Fanout交换机的差异？

  • Fanout交换机将消息路由给每一个与之绑定的队列
  • Direct交换机根据RoutingKey判断路由给哪个队列
  • 如果多个队列具有相同的RoutingKey，则与Fanout功能类似

基于@RabbitListener注解声明队列和交换机有哪些常见注解？

  • @Queue
  • @Exchange

4.4.3 Topic

Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符！

Routingkey 一般都是有一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert

通配符规则

  • #：匹配一个或多个词

  • *：匹配不多不少恰好1个词

举例：

  • item.#：能够匹配item.spu.insert 或者 item.spu

  • item.*：只能匹配item.spu

图示

image-20220107091501310

案例需求

  1. 并利用@RabbitListener声明Exchange、Queue、RoutingKey

  2. 在consumer服务中，编写两个消费者方法，分别监听topic.queue1和topic.queue2

  3. 在publisher中编写测试方法，向itcast. topic发送消息

image-20220107091531003

① 消息接收

在consumer服务的SpringRabbitListener中添加方法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
// 接收关于中国的消息
@RabbitListener(bindings = @QueueBinding(
    value = @Queue("topic.queue1"),
    exchange = @Exchange(name = "itcast.topic", type = ExchangeTypes.TOPIC),
    key = "china.#"
))
public void listenTopicQueue1(String msg) {
    System.out.println("消费者接收到topic.queue1的消息：[" + msg + "]");
}

// 接收关于新闻的消息
@RabbitListener(bindings = @QueueBinding(
    value = @Queue("topic.queue2"),
    exchange = @Exchange(name = "itcast.topic", type = ExchangeTypes.TOPIC),
    key = "#.news"
))
public void listenTopicQueue2(String msg) {
    System.out.println("消费者接收到topic.queue2的消息：[" + msg + "]");
}
  • 查看交换机

image-20220107091124839

  • 查看队列

image-20220107091234230

② 发送消息
1
2
3
4
5
6
7
8
9
@Test
public void testSendTopicExchange() {
    // 交换机名称
    String exchangeName = "itcast.topic";
    // 发送的消息
    String message = "Hello, China!";
    // 发送消息
    rabbitTemplate.convertAndSend(exchangeName, "china.news", message);
}
1
2
3
4
5
6
7
8
9
@Test
public void testSendTopicExchange() {
    // 交换机名称
    String exchangeName = "itcast.topic";
    // 发送的消息
    String message = "Hello, weather!";
    // 发送消息
    rabbitTemplate.convertAndSend(exchangeName, "china.weather", message);
}

image-20220107091815944

4.5 消息转换器

在SpringAMQP的发送方法中，接收消息的类型是Object，也就是说我们可以发送任意对象类型的消息，SpringAMQP会帮我们序列化为字节后发送。

只不过，默认情况下Spring采用的序列化方式是JDK序列化。众所周知，JDK序列化存在下列问题：

  • 数据体积过大
  • 有安全漏洞
  • 可读性差

4.5.1 测试默认转换器

  1. 通过@Bean方式声明一个队列object.queue：
1
2
3
4
@Bean
public Queue objectQueue() {
    return new Queue("object.queue");
}
  1. 修改消息发送的代码，发送一个Map对象：
1
2
3
4
5
6
7
@Test
public void testSendObjectQueue() {
    Map<String, Object> msg = new HashMap<>();
    msg.put("name", "Mark");
    msg.put("age", 21);
    rabbitTemplate.convertAndSend("object.queue", msg);
}
  1. 发送结果：

image-20220107092512291

4.5.2 配置JSON转换器

Spring对消息对象的处理是由org.springframework.amqp.support.converter.MessageConverter来处理的。而**默认实现是SimpleMessageConverter**，基于JDK的ObjectOutputStream完成序列化。

如果要修改只需要定义一个MessageConverter 类型的Bean即可。推荐用JSON方式序列化，步骤如下：

  1. 在publisher和consumer两个服务中都引入依赖：
1
2
3
4
5
<!--jackson依赖-->
<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
</dependency>
  1. 配置消息转换器MessageConverter：在各自的启动类中添加一个Bean即可：
1
2
3
4
@Bean
public MessageConverter messageConverter() {
    return new Jackson2JsonMessageConverter();
}
  1. 发送方发送到队列：

image-20220107092913161

  1. 接收方接收到的消息：

image-20220107093212675

小结

  • SpringAMQP中消息的序列化和反序列化利用MessageConverter实现的，默认是JDK的序列化

  • 注意发送方与接收方必须使用相同的MessageConverter

4.6 其他问题

4.6.1 队列自动创建

实际项目中，消息的生产者和消费者不在同一项目中，如果先启动消费者会因为没有队列而启动失败。

解决办法

  • 在MQ的Web管理界面中手动创建队列

  • 启动消费者项目时，监听器发现不存在队列自动创建：

方法1：通过注解bindings=@QueueBinding，这种方式必须指定队列和交换机

1
2
3
4
5
6
7
8
9
10
// 基于注解，type默认为direct可不写
@RabbitListener(
  bindings = @QueueBinding(
    value = @Queue(name = "direct.queue1"), // 声明队列direct.queue1
    exchange = @Exchange(name = "itcast.direct", type = ExchangeTypes.DIRECT), // 绑定交换机itcast.direct，方式为DIRECT
    key = {"red", "blue"} // 设置routingKey
  ))
public void listenDirectQueue1(String msg) {
  System.out.println("消费者接收到direct.queue1的消息：[" + msg + "]");
}

方法2：通过注解queuesToDeclare = @Queue，可以不使用交换机

1
2
3
4
5
6
7
@RabbitListener(queuesToDeclare = @Queue(
    name = "test.queue",
    durable = "true"
))
public void listenToSimpleQueue(String msg) {
    System.out.println("接收到消息: " + msg);
}

方法3：通过配置，可以不使用交换机

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
// 消费者配置类
@Configuration
public class FanoutConfig {
    // 声明交换机itcast.fanout
    @Bean
    public FanoutExchange fanoutExchange() {
        return new FanoutExchange("itcast.fanout");
    }

    // 声明队列1
    // fanout.queue1
    @Bean
    public Queue fanoutQueue1(){
        return new Queue("fanout.queue1");
    }

    // 绑定队列1到交换机itcast.fanout
    @Bean
    public Binding fanoutBinding1(Queue fanoutQueue1, FanoutExchange fanoutExchange) {
        return BindingBuilder
                .bind(fanoutQueue1)
                .to(fanoutExchange);
    }

    // 声明队列2
    // fanout.queue2
    @Bean
    public Queue fanoutQueue2(){
        return new Queue("fanout.queue2");
    }

    // 绑定队列2到交换机itcast.fanout
    @Bean
    public Binding fanoutBinding2(Queue fanoutQueue2, FanoutExchange fanoutExchange) {
        return BindingBuilder
                .bind(fanoutQueue2)
                .to(fanoutExchange);
    }
}
1
2
3
4
5
6
7
8
9
10
// 监听两个队列
@RabbitListener(queues = "fanout.queue1")
public void listenFanoutQueue1(String msg) {
  System.out.println("消费者接收到fanout.queue1的消息：[" + msg + "]");
}

@RabbitListener(queues = "fanout.queue2")
public void listenFanoutQueue2(String msg) {
  System.out.println("消费者接收到fanout.queue2的消息：[" + msg + "]");
}

如果不使用交换机：

1
2
3
4
5
6
7
@Configuration
public class QueueConfig {
  @Bean
  public Queue simpleQueue(){
    return new Queue("simple.queue");
  }
}
1
2
3
4
@RabbitListener(queues = "simple.queue")
public void listenSimpleQueue(String msg) {
  System.out.println("消费者接收到simple.queue的消息：[" + msg + "]");
}
  • 先启动生产者项目：

暂留

4.6.2 队列的持久化

持久化：队列默认是存放到内存中的，rabbitmq 重启则丢失；若想重启之后还存在则队列要持久化。

image-20240730170734588

  • WEB界面配置：

image-20240730170850983

  • 后端配置：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@Configuration
public class RabbitMQConfig {

    /**
     * 1. 配置队列
     * 2. 队列名为 queue
     * 3. true 表示: 持久化 (不填，默认为true,默认持久化)
     * durable： 队列是否持久化。 队列默认是存放到内存中的，rabbitmq 重启则丢失，
     * 若想重启之后还存在则队列要持久化，
     * 保存到 Erlang 自带的 Mnesia 数据库中，当 rabbitmq 重启之后会读取该数据库
     * @return
     */
    @Bean
    public Queue queue(){
        return new Queue("airport_operation_info", true);
    }
}

5 其他类和注解

5.1 SimpleMessageListenerContainer

SimpleMessageListenerContainer 是一个用于监听 RabbitMQ 队列的核心组件，它负责：

  • 监听指定的队列。
  • 从队列中拉取消息。
  • 将消息交给注册的消息监听器进行处理。
  • 控制并发的消费者数量。

它的主要职责是管理队列的监听行为，并支持多线程并发处理消息。可以通过直接配置 SimpleMessageListenerContainer 来监听队列并处理消息。

代码示例

  • 配置类
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
@Configuration
public class RabbitMQConfig {

  @Bean
  public SimpleMessageListenerContainer messageListenerContainer(
    ConnectionFactory connectionFactory,
    MessageListenerAdapter listenerAdapter) {
    SimpleMessageListenerContainer container = new SimpleMessageListenerContainer();
    container.setConnectionFactory(connectionFactory); // 设置 RabbitMQ 的连接工厂
    container.setQueueNames("myQueue"); // 设置要监听的队列名称
    container.setMessageListener(listenerAdapter); // 设置消息监听器
    container.setConcurrentConsumers(5); // 设置并发消费者数量
    container.setMaxConcurrentConsumers(10); // 设置最大并发消费者数量
    return container;
  }

  @Bean
  public MessageListenerAdapter listenerAdapter(MyMessageHandler handler) {
    return new MessageListenerAdapter(handler, "handleMessage"); // 关联到具体的消息处理方法
  }

  @Bean
  public MyMessageHandler myMessageHandler() {
    return new MyMessageHandler();  // 消息处理类实例
  }
}
  • 消息处理类
1
2
3
4
5
public class MyMessageHandler {
  public void handleMessage(String message) {
    System.out.println("Received message: " + message);
  }
}
  • 业务类
1
2
3
4
5
6
7
8
9
10
@Service
public class RabbitMQSender {
  @Autowired
  private RabbitTemplate rabbitTemplate;

  public void sendMessage(String message) {
    rabbitTemplate.convertAndSend("myQueue", message);
    System.out.println("Sent message: " + message);
  }
}

5.2 SimpleRabbitListenerContainerFactory

SimpleRabbitListenerContainerFactory 是一个用于创建 SimpleMessageListenerContainer 的工厂类，通常用于简化配置多个 @RabbitListener 的场景。

它的主要功能是提供配置模板，帮助快速创建 SimpleMessageListenerContainer 实例，而不需要手动配置每个容器（如线程池、消费者数量等）。

当使用@RabbitListener注解时，Spring Boot 默认会使用SimpleRabbitListenerContainerFactory来创建监听器容器SimpleMessageListenerContainer。

代码示例

  • 配置SimpleRabbitListenerContainerFactory
1
2
3
4
5
6
7
8
9
10
11
12
@Bean
public SimpleRabbitListenerContainerFactory rabbitListenerContainerFactory(
    ConnectionFactory connectionFactory, 
    TaskExecutor taskExecutor) {

    SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();
    factory.setConnectionFactory(connectionFactory); // 设置 RabbitMQ 的连接工厂
    factory.setTaskExecutor(taskExecutor); // 设置线程池执行器
    factory.setConcurrentConsumers(5); // 设置并发消费者数量
    factory.setMaxConcurrentConsumers(10); // 设置最大并发消费者数量
    return factory;
}

在这里，我们通过 SimpleRabbitListenerContainerFactory 配置了 connectionFactory、taskExecutor、并发消费者数量等，作为 @RabbitListener 的容器工厂。

  • 在 @RabbitListener 中使用工厂
1
2
3
4
5
6
7
8
9
10
11
12
13
@Component
public class MyMessageListener {

    @RabbitListener(queues = "myQueue", containerFactory = "rabbitListenerContainerFactory")
    public void listenToQueue1(String message) {
        System.out.println("Received message from myQueue: " + message);
    }

    @RabbitListener(queues = "anotherQueue", containerFactory = "rabbitListenerContainerFactory")
    public void listenToQueue2(String message) {
        System.out.println("Received message from anotherQueue: " + message);
    }
}

通过这种方式，可以很方便地为不同的队列配置统一的监听容器，并实现对消息的处理。

5.3 @RabbitHandler

  • 通常，@RabbitListener 用于类级别或方法级别，定义消息的入口点，即指定哪个队列的消息会被监听。
  • @RabbitHandler 则用于在同一类中的不同方法上，根据接收到的消息类型调用相应的方法。

示例

1
2
3
4
5
6
7
8
9
10
11
12
13
@Component
public class MyMessageListener {
  @RabbitListener(queues = "myQueue")
  public void process(String data) {
    // ...
  }
  
  @RabbitListener(queues = "myQueue")
  @RabbitHandler
  public void process(MyCustomObject object) {
    // ...
  }
}

6 匿名队列

6.1 简介

在RabbitMQ中，匿名队列（Anonymous Queue） 是一种临时队列，通常在使用完毕后会自动删除。匿名队列没有显式指定名称，RabbitMQ会自动生成一个唯一的随机名称。匿名队列的典型场景是消费者在使用消息时无需持久保存队列数据，并且不需要其他消费者共享该队列，例如RPC调用或临时订阅场景。

使用场景：

订阅发布模型中的临时订阅：消费者希望只接收在自己连接到RabbitMQ之后发布的消息，并在连接断开时删除队列。

RPC（远程过程调用）：客户端发送请求并创建一个匿名队列来接收服务器的响应，响应完成后队列自动删除。

临时消息处理：一些不需要持久化的消息，可以通过匿名队列处理并在完成后清除队列资源。

6.2 代码实例

6.2.1 配置类实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
@Configuration
public class RabbitMQConfig {

  // 定义一个匿名队列的 Bean。匿名队列的名称由 RabbitMQ 自动生成，该队列在断开连接后会自动删除。
  @Bean
  public AnonymousQueue anonymousQueue() {
    return new AnonymousQueue();
  }

  // 定义交换机
  @Bean
  public TopicExchange exchange() {
    return new TopicExchange("my-topic-exchange");
  }

  // 定义一个绑定关系，将匿名队列绑定到交换器上，并指定路由键。
  // 路由键 "anonymous.routing.key.#" 表示使用通配符匹配路由的消息。
  @Bean
  public Binding binding(AnonymousQueue anonymousQueue, TopicExchange exchange) {
    return BindingBuilder.bind(anonymousQueue)
      .to(exchange)
      .with("anonymous.routing.key.#");
  }

  // 定义一个消息监听容器，该容器负责从队列中接收消息并将其交给消息监听器处理。
  // 容器会使用连接工厂与 RabbitMQ 连接，并设置要监听的队列名称（即匿名队列名称）。
  @Bean
  public SimpleMessageListenerContainer container(
    ConnectionFactory connectionFactory, 
    MessageListenerAdapter listenerAdapter, 
    AnonymousQueue anonymousQueue) {

    SimpleMessageListenerContainer container = new SimpleMessageListenerContainer();
    container.setConnectionFactory(connectionFactory);  // 设置 RabbitMQ 的连接工厂
    container.setQueueNames(anonymousQueue.getName());  // 设置要监听的队列名称
    container.setMessageListener(listenerAdapter);  // 设置消息监听器
    return container;
  }

  // 定义一个消息监听器适配器，将消息处理逻辑封装为一个可调用的对象。
  // 在这里，使用 RabbitTemplate 的简单适配器来处理消息。
  @Bean
  public MessageListenerAdapter listenerAdapter(RabbitTemplate rabbitTemplate) {
    // 当消息到达时，适配器会调用这个 lambda 方法来处理消息
    return new MessageListenerAdapter((message) -> {
      String messageBody = new String(message.getBody());  // 将消息体转换为字符串
      System.out.println("Received message: " + messageBody);  // 打印接收到的消息
    });
  }
}

6.2.2 注解实现

1
2
3
4
5
6
7
@RabbitListener(bindings = @QueueBinding(
  value = @Queue(value = "", durable = "false", autoDelete = "true", exclusive = "true"),
  exchange = @Exchange(value = "my-exchange", type = ExchangeTypes.FANOUT)
))
public void receiveMessage(String message) {
  // ...
}