RabbitMq消息队列使用

post thumb
Ops
作者 Louis 发表于 2019年11月7日

$ 表示shell , # 表示注释, > 表示mysql

什么是消息队列

消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。

消息队列(Message Queue)是一种应用间的通信方式,消息发送后可以立即返回,由消息系统来确保消息的可靠传递。 消息发布者只管把消息发布到 MQ 中而不用管谁来取,消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

为什么需要消息队列

以常见的订单系统为例,用户点击【下单】按钮之后的业务逻辑可能包括:扣减库存、生成相应单据、发红包、发短信通知。在业务发展初期这些逻辑可能放在一起同步执行,随着业务的发展订单量增长,需要提升系统服务的性能,这时可以将一些不需要立即生效的操作拆分出来异步执行,比如发放红包、发短信通知等。 这种场景下就可以用 MQ ,在下单的主流程(比如扣减库存、生成相应单据)完成之后发送一条消息到 MQ 让主流程快速完结,而由另外的单独线程拉取MQ的消息(或者由 MQ 推送消息),当发现 MQ 中有发红包或发短信之类的消息时,执行相应的业务逻辑。

以上用于业务解耦的情况,其它常见场景包括最终一致性、广播、错峰流控…

RabbitMq

RabbitMQ这款消息队列中间件产品本身是基于Erlang编写,Erlang语言天生具备分布式特性(通过同步Erlang集群各节点的magic cookie来实现)。因此,RabbitMQ天然支持Clustering。

AMQP :Advanced Message Queue,高级消息队列协议。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。

消息模型

所有 MQ 产品从模型抽象上来说都是一样的过程:

消费者(consumer)订阅某个队列。生产者(producer)创建消息,然后发布到队列(queue)中,最后将消息发送到监听的消费者。

  • Message

消息,消息是不具名的,它由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。

  • Publisher

消息的生产者,也是一个向交换器发布消息的客户端应用程序。

  • Exchange

交换器,用来接收生产者发送的消息并将这些消息路由给服务器中的队列。

  • Binding

绑定,用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则,所以可以将交换器理解成一个由绑定构成的路由表。

  • Queue

消息队列,用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。

  • Connection

网络连接,比如一个TCP连接。

  • Channel

信道,多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接,AMQP 命令都是通过信道发出去的,不管是发布消息、订阅队列还是接收消息,这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销,所以引入了信道的概念,以复用一条 TCP 连接。

  • Consumer

消息的消费者,表示一个从消息队列中取得消息的客户端应用程序。

  • Virtual Host

虚拟主机,表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器,拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础,必须在连接时指定,RabbitMQ 默认的 vhost 是 / 。

  • Broker

表示消息队列服务器实体。

Exchange类型

目前是有四种类型, 分别为direct, fanout, topic, header.

  • direct

消息中的路由键(routing key)如果和 Binding 中的 binding key 一致, 交换器就将消息发到对应的队列中。 路由键与队列名完全匹配,如果一个队列绑定到交换机要求路由键为"test”,则只转发 routing key 标记为"dog"的消息,不会转发"test.puppy”,也不会转发"test.guard"等等。它是完全匹配、单播的模式。

golang实例

项目结构

rabbitmq]# tree
.
├── go.mod
├── go.sum
├── main.go
├── receive
│   └── receiev.go
└── send
    └── send.go

send.go 作为消息的产生者, 采用的是routing key 和 queue名称相同.

package send

import (
	"fmt"
	"github.com/streadway/amqp" //根据实际情况来定
	"log"
	"strconv"
	"time"
)

//创建一个返回错误打印日志的函数
func FailOnError(err error, msg string) {
	if err != nil {
		log.Fatalf("%s: %s", msg, err)
	}
}
func Send() {
	//打开一个连接
	conn, err := amqp.Dial("amqp://rabbit:123456@192.168.133.128:5672")
	FailOnError(err, "failed to connect to RabbitMQ")
	defer conn.Close()

	//打开一个通道
	ch, err := conn.Channel()
	FailOnError(err, "failed to open a channel")
	defer ch.Close()

	q, err := ch.QueueDeclare(
		"test rabbitMq number", // name
		false,                  // durable
		false,                  // delete when usused
		false,                  // exclusive
		false,                  // no-wait
		nil,                    // arguments
	)
	FailOnError(err, "Failed to declare a queue")
	fmt.Println("start send message !")
	for i := 0; i < 60; i++ {
		body := "hello, rabbitMq  " + strconv.Itoa(i)
		err = ch.Publish(
			"",
			q.Name, // routing key 和 queue name 相同,  路由键与队列名完全匹配,完成转发
			false,
			false,
			amqp.Publishing{
				ContentType: "text/plain",
				Body:        []byte(body),
			})
		FailOnError(err, "Failed to publish a message")
		time.Sleep(1 * time.Millisecond)
	}

}

receive.go 作为消息的消费者, 实时消费队列中的消息; 一直阻塞在等待消息队列

package receive

import (
	"github.com/streadway/amqp"
	"gogs.wangke.co/go/rabbitmq/send"
	"log"
	"time"
)

//创建一个返回错误打印日志的函数

func Receive() {
	conn, err := amqp.Dial("amqp://rabbit:123456@192.168.133.128:5672")
	send.FailOnError(err, "Failed to connect to RabbitMQ")
	defer conn.Close()

	ch, err := conn.Channel()
	send.FailOnError(err, "Failed to open a channel")
	defer ch.Close()

	q, err := ch.QueueDeclare(
		"test rabbitMq number", // name
		false,                  // durable
		false,                  // delete when usused
		false,                  // exclusive
		false,                  // no-wait
		nil,                    // arguments
	)
	send.FailOnError(err, "Failed to declare a queue")
	msgs, err := ch.Consume(
		q.Name, // queue
		"",     // consumer
		true,   // auto-ack
		false,  // exclusive
		false,  // no-local
		false,  // no-wait
		nil,    // args
	)
	send.FailOnError(err, "Failed to register a consumer")

	forever := make(chan bool)
	for i := 0; i < 60; i++ {
		go func() {
			for d := range msgs {
				log.Printf("Received a message: %s", d.Body)
			}
		}()
		time.Sleep(30 * time.Millisecond)
	}
	log.Printf("Waiting for messages. To exit press CTRL+C")
	<-forever
}

主程序main.go, 先产生消息, 然后消费消息.

package main

import (
	"gogs.wangke.co/go/rabbitmq/receive"
	"gogs.wangke.co/go/rabbitmq/send"
)

func main() {
	send.Send()
	receive.Receive()
}

modules

module gogs.wangke.co/go/rabbitmq

go 1.13

require github.com/streadway/amqp v0.0.0-20190827072141-edfb9018d271

编译并运行

## 允许go modules
$ go env -w GO111MODULE=on
$ go env -w GOPROXY="https://goproxy.cn,direct"
## git clone 项目并运行.
$ git clone http://gogs.wangke.co/go/rabbitmq.git
$ cd rabbitmq &&  go run main.go
start send message !
2019/11/07 01:09:48 Received a message: hello, rabbitMq  0
2019/11/07 01:09:48 Received a message: hello, rabbitMq  1
2019/11/07 01:09:48 Received a message: hello, rabbitMq  2
2019/11/07 01:09:48 Received a message: hello, rabbitMq  3
2019/11/07 01:09:48 Received a message: hello, rabbitMq  4
2019/11/07 01:09:48 Received a message: hello, rabbitMq  5
2019/11/07 01:09:48 Received a message: hello, rabbitMq  6
2019/11/07 01:09:48 Received a message: hello, rabbitMq  7
2019/11/07 01:09:48 Received a message: hello, rabbitMq  8
2019/11/07 01:09:48 Received a message: hello, rabbitMq  9
2019/11/07 01:09:50  [*] Waiting for messages. To exit press CTRL+C

登陆本地的rabbitmq web客户端, 查看queue相关信息.

上一篇
RabbitMq高可用集群搭建