2013年6月13日星期四

RabbitMQ集群环境生产实例部署

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://opsmysql.blog.51cto.com/2238445/1030832
生产环境:
CentOS 6.3 x86_64
服务器主机名与IP列表:
mq136      172.28.2.136
mq137      172.28.2.137
mq164      172.28.2.164
mq165      172.28.2.165
 
在各节点服务器上作好hosts解析
  1. cat >>/etc/hosts/<<EOF 
  2. mq136      172.28.2.136 
  3. mq137      172.28.2.137 
  4. mq164      172.28.2.164 
  5. mq165      172.28.2.165 
  6. EOF 
一、简介
RabbitMQ
是流行的开源消息队列系统,用erlang语言开发。Erlang的分布式通讯安全策略,可以归结为 All or None。。RabbitMQAMQP(高级消息队列协议)的标准实现。RabbitMQ的结构图如下:
几个概念说明:
Broker:简单来说就是消息队列服务器实体。
Exchange
:消息交换机,它指定消息按什么规则,路由到哪个队列。
Queue
:消息队列载体,每个消息都会被投入到一个或多个队列。
Binding
:绑定,它的作用就是把exchangequeue按照路由规则绑定起来。
Routing Key
:路由关键字,exchange根据这个关键字进行消息投递。
vhost
:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。
producer
:消息生产者,就是投递消息的程序。
consumer
:消息消费者,就是接受消息的程序。
channel
:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
消息队列的使用过程大概如下:
1)客户端连接到消息队列服务器,打开一个channel
2)客户端声明一个exchange,并设置相关属性。
3)客户端声明一个queue,并设置相关属性。
4)客户端使用routing key,在exchangequeue之间建立好绑定关系。
5)客户端投递消息到exchange
exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。
exchange也有几个类型,完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routing key”abc”,那么客户端提交的消息,只有设置了key”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机,符号”#”匹配一个或多个词,符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi””abc.*”只匹配”abc.def”。还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。
RabbitMQ支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括3个部分:
1exchange持久化,在声明时指定durable => 12queue持久化,在声明时指定durable => 13)消息持久化,在投递时指定delivery_mode => 21是非持久化)
如果exchangequeue都是持久化的,那么它们之间的binding也是持久化的。如果exchangequeue两者之间有一个持久化,一个非持久化,就不允许建立绑定。
下面我们再了解下消息队列RabbitMQ集群,由于RabbitMQ是用erlang开发的,RabbitMQ 完全依赖 Erlang Cluster,而Erlang集群非常方便,因此配置RabbitMQ集群变得非常简单。
RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存,磁盘节点将数据放在磁盘。不过,如前文所述,如果在投递消息时,打开了消息的持久化,那么即使是内存节点,数据还是安全的放在磁盘。
良好的设计架构可以如下:在一个集群里,有3台以上机器,其中1台使用磁盘模式,其它使用内存模式。其它几台为内存模式的节点,无疑速度更快,因此客户端(consumerproducer)连接访问它们。而磁盘模式的节点,由于磁盘IO相对较慢,因此仅作数据备份使用。
二、各节点安装rabbitmq
安装非常简单,只需几步搞定:
1. 安装epel源
  1. rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm 
  2. wget -O /etc/yum.repos.d/epel-erlang.repo http://repos.fedorapeople.org/repos/peter/erlang/epel-erlang.repo 
2. 安装erlang
  1. yum install erlang xmlto git -y 
  2. rpm --import http://www.rabbitmq.com/rabbitmq-signing-key-public.asc 
3. 安装rabbitmq
可以选择用yum安装,也可以选择下载rpm包安装,也可以用源码编译安装!
本文选择rpm包安装:
  1. wget http://www.rabbitmq.com/releases/rabbitmq-server/v2.8.6/rabbitmq-server-2.8.6.noarch.rpm 
  2. rpm -ivh  rabbitmq-server-2.8.6.noarch.rpm  
4. 启动各节点rabbitmq,并验证启动情况
  1. [root@mq136 ~]# rabbitmq-server --detached & 
  2.  
  3. [root@mq136 ~]# ps aux |grep rabbitmq 
  4.  
  5. rabbitmq  1394  0.0  0.0  10828   540 ?        S    Oct08   0:11 /usr/lib64/erlang/erts-5.8.5/bin/epmd -daemon 
  6.  
  7. root      2483  0.0  0.0 103244   836 pts/1    S+   17:40   0:00 grep rabbitmq 
  8.  
  9. rabbitmq  5657  6.3  1.9 2224044 157200 ?      Sl   Oct08 959:17 /usr/lib64/erlang/erts-5.8.5/bin/beam.smp -W w -K true -A30 -P 1048576 -- -root /usr/lib64/erlang -progname erl -- -home /var/lib/rabbitmq -- -noshell -noinput -sname rabbit@mq136 -boot /var/lib/rabbitmq/mnesia/rabbit@mq136-plugins-expand/rabbit -kernel inet_default_connect_options [{nodelay,true}] -sasl errlog_type error -sasl sasl_error_logger false -rabbit error_logger {file,"/var/log/rabbitmq/rabbit@mq136.log"} -rabbit sasl_error_logger {file,"/var/log/rabbitmq/rabbit@mq136-sasl.log"} -os_mon start_cpu_sup false -os_mon start_disksup false -os_mon start_memsup false -mnesia dir "/var/lib/rabbitmq/mnesia/rabbit@mq136" -noshell -noinput 
  10.  
  11. rabbitmq  5698  0.0  0.0  10788   520 ?        Ss   Oct08   0:00 inet_gethost 4 
  12.  
  13. rabbitmq  5699  0.0  0.0  12892   692 ?        S    Oct08   0:00 inet_gethost 4 
  14.  
  15. rabbitmq 11446  0.0  0.0  12892   680 ?        S    Oct13   0:00 inet_gethost 4 
  16.  
  17. [root@mq136 ~]# lsof -i:5672 
  18.  
  19. COMMAND   PID     USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME 
  20.  
  21. beam.smp 5657 rabbitmq   18u  IPv4 5879364      0t0  TCP *:amqp (LISTEN) 

三、集群配置
集群环境说明:
mq136作为磁盘节点,其它所有节点都作为内存节点!
1. 在各节点创建加入集群脚本
  1. mq136:  
  2. cat >>/home/zjqui/scripts/cluster.sh<<EOF 
  3. rabbitmqctl stop_app 
  4. rabbitmqctl reset 
  5. rabbitmqctl cluster  
  6. rabbitmqctl start_app 
  7. EOF 
  8.  
  9. mq137: 
  10. cat >>/home/zjqui/scripts/cluster.sh<<EOF 
  11. rabbitmqctl stop_app 
  12. rabbitmqctl reset 
  13. rabbitmqctl cluster rabbit@mq136 
  14. rabbitmqctl start_app 
  15. EOF 
  16.  
  17. mq164: 
  18. cat >>/home/zjqui/scripts/cluster.sh<<EOF 
  19. rabbitmqctl stop_app 
  20. rabbitmqctl reset 
  21. rabbitmqctl cluster rabbit@mq136 
  22. rabbitmqctl start_app 
  23. EOF 
  24.  
  25. mq165: 
  26. cat >>/home/zjqui/scripts/cluster.sh<<EOF 
  27. rabbitmqctl stop_app 
  28. rabbitmqctl reset 
  29. rabbitmqctl cluster rabbit@mq136 
  30. rabbitmqctl start_app 
  31. EOF 

2. 各节点加入集群环境
  1. [root@mq136 ~]# chmod +x /home/zjqui/scripts/cluster.sh 
启动脚本顺序:先运行mq136节点集群脚本,然后再运行其它节点集群脚本:
  1. [root@mq136 ~]# /home/zjqui/scripts/cluster.sh 
各节点运行成功后,查看集群整体状态:
  1. [root@mq136 ~]# rabbitmqctl cluster_status 
  2.  
  3. Cluster status of node rabbit@mq136 ... 
  4.  
  5. [{nodes,[{disc,[rabbit@mq136]}, 
  6.  
  7.          {ram,[rabbit@mq165,rabbit@mq164,rabbit@mq137]}]}, 
  8.  
  9.  {running_nodes,[rabbit@mq164,rabbit@mq165,rabbit@mq137,rabbit@mq136]}] 
  10.  
  11. ...done. 
可以看到mq136作为disc节点,其它节点是ram节点!集群简单配置到此完成!!

没有评论:

发表评论