rocketmq 集群部署

  • RocketMQ 搭建部署
    • RocketMQ 快速安装
    • RocketMQ 主从异步集群
    • RocketMQ Dledger 集群

1.0 RocketMQ 快速安装

概述
1
2
3
4
5
6
7
8
producer cluster    生产者(可以有多个生产者) ,可以将生产者发送给消息队列
consumer cluster    消费者，从消息队列接收消息

NameServer cluister 注册中心

producer 将消息发送给某一个 topic。实际上消息是存储在Broker,Broker是用来区分消息的

broker 主从(主负责写,从负责读)

1.1 安装、配置、启服务

1.1.1 快速安装

OSVERSIONIPCONF
CentOS 7.9rocketmq-all-4.9.5 192.168.1.812C/4G/100G
1.1.2 安装应用
1
2
3
4
5
// 下载、配置 rocketmq
[root@rocketmq01 ~]# wget https://dlcdn.apache.org/rocketmq/4.9.5/rocketmq-all-4.9.5-bin-release.zip --no-check-certificate
[root@rocketmq01 ~]# mkdir -p /data/apps
[root@rocketmq01 ~]# unzip rocketmq-all-4.9.5-bin-release.zip
[root@rocketmq01 ~]# mv rocketmq-all-4.9.5-bin-release /data/apps/rocketmq
1.1.3 环境变量
1
2
3
4
5
6
7
8
9
10
11
[root@rocketmq01 ~]# tar -xf jdk-8u202-linux-x64.tar.gz 
[root@rocketmq01 ~]# mv jdk1.8.0_202 /usr/local/jdk1.8

[root@rocketmq01 ~]# cat /etc/profile				# 将如下配置添加到文件最后
...
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=/usr/local/jdk1.8/jre
export ROCKETMQ_HOME=/data/apps/rocketmq
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ROCKETMQ_HOME/bin:$PATH:$HOME/bin
[root@rocketmq01 ~]# source /etc/profile
1.2.4 参数修改
  • 如服务器配置充足且为生产环境，需根据实际情况进行修改，以下配置仅演示环境配置调整
1
2
3
4
5
6
7
8
// JVM内存
[root@rocketmq01 ~]# vim /data/apps/rocketmq/bin/runserver.sh	# 根据需求进行大小调整
...
      JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

[root@rocketmq01 ~]# vim /data/apps/rocketmq/bin/runbroker.sh	# 根据需求进行大小调整
...
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g"
1.2.5 启动 NameServer
1
2
3
// 启动 RocketMQ 服务需要先启动 NameServer
[root@rocketmq01 ~]# cd /data/apps/rocketmq/bin/
[root@rocketmq01 ~]# nohup ./mqnamesrv -n 192.168.1.81:9876 &
1.2.6 启动 Broker
1
2
3
4
5
6
7
// 在 conf/broker.conf 文件中加入如下配置,开启自动创建Topic功能
[root@rocketmq01 bin]# vim /data/apps/rocketmq/conf/broker.conf
...
autoCreateTopicEnable=true                      		# 放到末尾

[root@rocketmq01 bin]# nohup ./mqbroker -n 192.168.1.81:9876 &
    -n 192.168.1.81:9876                        		# 注册到这个IP服务器的端口(建议使用IP,不要使用localhost)

1.2 acl 配置

1.2.1 acl 配置修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
// 热加载，不需要重新启动Broker服务节点
# cat /data/apps/rocketmq/conf/plain_acl.yml
globalWhiteRemoteAddresses:			# 全局IP白名单; 各节点之间互相能够访问; 集群之间互访
  - 192.168.0.*
  - 192.168.1.*

accounts:							# 配置具体的权限
- accessKey: ak-mq
  secretKey: sk.ink8s.com
  whiteRemoteAddress:
  admin: false
  defaultTopicPerm: DENY
  defaultGroupPerm: DENY
  topicPerms:
  - topic-mq=PUB|SUB
  groupPerms:
  - group-mq=PUB|SUB

// groupPerms覆盖于topicPerms。当然topicPerms和groupPerms可同时存在

1.3 dashboard 可视化

1.3.1 下载、配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// RocketMQ没有提供可视化管理控制台,可以使用第三方管理控制平台
// 下载管理控制平台(master): https://github.com/apache/rocketmq-dashboard

// 连接配置
[root@rocketmq01 ~]# unzip rocketmq-dashboard-master.zip
[root@rocketmq01 ~]# vim rocketmq-dashboard-master/src/main/resources/application.yml 
...
    namesrvAddrs:						# 如是集群环境,则填所有集群节点IP:PORT
      - 192.168.1.81:9876
...
    loginRequired: true

// 用户配置
[root@rocketmq01 ~]# vim rocketmq-dashboard-master/src/main/resources/users.properties
# 1 表示管理员权限
# 0 表示普通用户权限
admin=ops.ink8s.com,1
dev01=dev01.ink8s.com,0

1.3.2 maven 打包

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@rocketmq01 ~]# tar -xf apache-maven-3.8.5-bin.tar.gz
[root@rocketmq01 ~]# mv apache-maven-3.8.5 /usr/local/apache-maven


[root@rocketmq01 ~]# vim /etc/profile
...
export MAVEN_HOME=/usr/local/apache-maven
export PATH=${PATH}:${MAVEN_HOME}/bin

[root@rocketmq01 ~]# source /etc/profile
[root@rocketmq01 ~]# mvn -v							# 验证 [1]

// 修改打包依赖
[root@rocketmq01 ~]# vim /usr/local/apache-maven/conf/settings.xml 
[root@rocketmq01 ~]# vim /usr/local/apache-maven/conf/settings.xml		# 如图 [2]

upload successful

upload successful

打包
1
2
[root@rocketmq01 ~]# cd /root/rocketmq-dashboard-master/
[root@rocketmq01 rocketmq-dashboard-master]# mvn clean package -Dmaven.test.skip=true
systemd 配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[root@rocketmq01 ~]# vim /usr/lib/systemd/system/rocketmq-dashboard.service
[Unit]
Description=niannian end
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
WorkingDirectory=/data/apps/rocketmq/
ExecStart=/usr/bin/sh -c 'exec /usr/local/jdk1.8/bin/java -jar /data/apps/rocketmq-dashboard-1.0.1-SNAPSHOT.jar -Xmx512m -Xms512m --server.port=8080'
LimitNOFILE=65536
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target

[root@rocketmq01 ~]# mkdir -p /data/apps/rocketmq-dashboard
[root@rocketmq01 ~]# mv rocketmq-dashboard-master/target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar /data/apps/rocketmq-dashboard/
[root@rocketmq01 ~]# systemctl daemon-reload
[root@rocketmq01 ~]# systemctl start rocketmq-dashboard.service 
[root@rocketmq01 ~]# systemctl enable rocketmq-dashboard.service

1.3.3 可视化配置

  • 浏览器访问: 192.168.1.81:8080

upload successful

  • 创建 topic 和 组，创建后开发可正常使用

upload successful

upload successful

2.0 RocketMQ 主从异步集群

集群部署方式
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// RocketMQ 官方提供了三种集群搭建方式
    2主2从 异步通信方式
        使用异步方式进行主从之间的数据复制,吞吐量大,但可能会丢消息
        使用 conf/2m-s2-async 文件内的配置做集群配置
    
    2主2从 同步通信方式
        使用同步方式进行主从之间的数据复制,保证消息安全投递,不会丢失,但影响吞吐量
        使用 conf/2m-2s-sync 文件夹内的配置文件做集群配置
    
    2主无从方式
        会存在单点故障,且读的性能没前两种方式好
        使用 conf/2m-noslave 文件内的配置文件做集群配置

    Dleger高可用集群
        上述3种官方提供的集群没办法实现高可用,即在master节点挂掉后,slave节点没办法自动被选举为新的master,而需要人工实现
        RocketMQ在4.5版本后引入了第三方Dleger高可用集群

2.1 部署环境

OSVERSIONHostNameNameServerBroker节点部署Other
CentOS 7.9rocketmq-all-4.9.5 rocketmq01192.168.1.81:9876maven(mq可视化) -
rocketmq02192.168.1.82:9876broker-a(master),broker-b-s(slave)broker-a_master 和 broker-a-s_slave 是主从关系
rocketmq03192.168.1.83:9876broker-b(master),broker-a-s(slave)broker-b_master 和 broker-b-s_slave 是主从关系
  • 参考 快速搭建 提前配置好基础环境
    • 参考: 1.1.2 安装应用
    • 参考: 1.1.3 环境变量
    • 参考: 1.2.4 参数修改

2.2 启动 3 台 nameserver

1
2
3
4
5
6
7
8
// 启动 3 台 nameserver
// nameserver 是一个轻量级的注册中心,broker 把自己的信息注册到 nameserver 上,而且,nameserver 是无状态的,直接启动即可。
// 3 台 nameserver 之间不需要通信,而是被请求方来关联 3 台 nameserver 的地址

# cd /data/apps/rocketmq/bin/
[root@rocketmq01 bin]# nohup ./mqnamesrv -n 192.168.1.81:9876 &
[root@rocketmq02 bin]# nohup ./mqnamesrv -n 192.168.1.82:9876 &
[root@rocketmq03 bin]# nohup ./mqnamesrv -n 192.168.1.83:9876 &

2.3 配置 broker

  • broker-a,broker-b-s这2台broker是配置在服务器rocketmq02上
  • broker-b，broker-a-s这2台broker是配置在服务器rocketmq03上

2.3.1 broker-a的master节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// 在rocketmq02上,进入到conf/2m-2s-aync文件夹内,修改broker-a.properties文件

[root@rocketmq02 ~]# vim /data/apps/rocketmq/conf/2m-2s-async/broker-a.properties 
brokerClusterName=INK8S                				# 所属集群名称(可以改成自己指定的名称)
brokerName=broker-a                             		# broker名字
brokerIP1=192.168.1.82                          		# broker所在服务器的IP
brokerId=0                                      		# broker的ID,0表示master， >0 表示slave
deleteWhen=04                                   		# 删除文件时间点,默认在凌晨4点
fileReservedTime=48                             		# 保留文件时间为48小时
brokerRole=ASYNC_MASTER                         		# broker角色为master
flushDiskType=ASYNC_FLUSH                       		# 使用异步刷盘方式
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876  # 名称服务器的地址列表
defaultTopicQueueNums=4                         		# 在发送消息自动创建不存在的topic时,默认创建的队列数为4个
autoCreateTopicEnable=true                      		# 是否允许broker自动创建Topic,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true                		# 是否允许broker自动创建订阅组,建议线下开启,线上关闭
listenPort=10911                                		# broker对外服务的监听端口
aclEnable=true                                  		# 开启acl权限(只需要master端配置即可)
abortFile=/data/apps/rocketmq/store/abort       		# abort文件存储路径
storePathRootDir=/data/apps/rocketmq/store      		# 消息存储路径
storePathCommitLog=/data/apps/rocketmq/store/commitlog          # commitLog存储路径
storePathConsumeQueue=/data/apps/rocketmq/store/consumequeue    # 消息队列存储路径
storePathIndex=/data/apps/rocketmq/store/index                  # 消息索引存储路径
storeCheckpoint=/data/apps/rocketmq/store/checkpoint            # checkpoint文件存储路径
maxMessageSize=65536                            		# 限制的消息大小
mapedFileSizeCommitLog=1073741824               		# commitLog每个文件的大小默认1G
mapedFileSizeConsumeQueue=300000                		# ConsumeQueue每个文件默认存30W条,根据业务情况调整

2.3.2 broker-b-s的slave节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
// 在rocketmq02上,进入到conf/2m-2s-aync文件夹内,修改broker-b-s.properties文件

[root@rocketmq02 ~]# vim /data/apps/rocketmq/conf/2m-2s-async/broker-b-s.properties
brokerClusterName=INK8S
brokerName=broker-b
brokerIP1=192.168.1.82
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/data/apps/rocketmq/store-slave/abort
storePathRootDir=/data/apps/rocketmq/store-slave
storePathCommitLog=/data/apps/rocketmq/store-slave/commitlog
storePathConsumeQueue=/data/apps/rocketmq/store-slave/consumequeue
storePathIndex=/data/apps/rocketmq/store-slave/index
storeCheckpoint=/data/apps/rocketmq/store-slave/checkpoint
maxMessageSize=65536

2.3.3 broker-b的master节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
// 在rocketmq03上,进入到conf/2m-2s-aync文件夹内,修改broker-b.properties文件


[root@rocketmq03 ~]# vim /data/apps/rocketmq/conf/2m-2s-async/broker-b.properties
brokerClusterName=INK8S
brokerName=broker-b
brokerIP1=192.168.1.83
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
aclEnable=true                                              # 开启acl权限(只需要master端配置即可)
abortFile=/data/apps/rocketmq/store/abort
storePathRootDir=/data/apps/rocketmq/store
storePathCommitLog=/data/apps/rocketmq/store/commitlog
storePathConsumeQueue=/data/apps/rocketmq/store/consumequeue
storePathIndex=/data/apps/rocketmq/store/index
storeCheckpoint=/data/apps/rocketmq/store/checkpoint
maxMessageSize=65536

2.3.4 broker-a-s的slave节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
// 在rocketmq03上,进入到conf/2m-2s-aync文件夹内,修改broker-a-s.properties文件

[root@rocketmq03 ~]# vim /data/apps/rocketmq/conf/2m-2s-async/broker-a-s.properties
brokerClusterName=INK8S
brokerName=broker-a
brokerIP1=192.168.1.83
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/data/apps/rocketmq/store-slave/abort
storePathRootDir=/data/apps/rocketmq/store-slave
storePathCommitLog=/data/apps/rocketmq/store-slave/commitlog
storePathConsumeQueue=/data/apps/rocketmq/store-slave/consumequeue
storePathIndex=/data/apps/rocketmq/store-slave/index
storeCheckpoint=/data/apps/rocketmq/store-slave/checkpoint
maxMessageSize=65536

2.3.5 启动 broker

1
2
3
4
5
6
7
8
9
// 在rocketmq02中启动broker-a(master)和broker-b-s(slave)
[root@rocketmq02 ~]# cd /data/apps/rocketmq/bin/
[root@rocketmq02 ~]# nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
[root@rocketmq02 ~]# nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

// 在rocketmq03中启动broker-b(master)和broker-a-s(slave)
[root@rocketmq03 ~]# cd /data/apps/rocketmq/bin/
[root@rocketmq03 bin]# nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
[root@rocketmq03 bin]# nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &
  • 以上 主从异步集群部署完成
    • acl 配置请参考: 1.2.1 acl 配置修改
    • 可视化及配置参考: 1.3 dashboard 可视化

3.0 RocketMQ Dledger 集群

3.1 部署环境

OSVERSIONIPServiceRole
CentOS 7.9rocketmq-all-4.9.5 192.168.1.81Dledger、Brober、NameServer 主
192.168.1.82Dledger、Brober、NameServe 从
192.168.1.83Dledger、Brober、NameServe 从
  • 当 master 宕机后, slave 会进行选举出新的 master
  • 参考 快速搭建 提前配置好基础环境
    • 参考: 1.1.2 安装应用
    • 参考: 1.1.3 环境变量
    • 参考: 1.2.4 参数修改

3.2 配置修改

3.2.1 master 配置修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
[root@rocketmq01 ~]# vim /data/apps/rocketmq/conf/dledger/broker-n0.conf
# 集群名称
brokerClusterName = RaftCluster
# broker集群名称。同一个RaftClusterGroup内，brokerName名要一样
brokerName=RaftNode00
# brokerIP
brokerIP1=192.168.1.81
# 监听端口
listenPort=30911
# nameser地址列表
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
# 主体不存在时是否自动创建主体
autoCreateTopicEnable=false
# 订阅组不存在时是否自动创建订阅组
autoCreateSubscriptionGroup=false
# 开启 ACL 特性
aclEnable=true
# 数据存储根路径
storePathRootDir=/tmp/rmqstore/node00
# commitlog 数据存储根路径
storePathCommitLog=/tmp/rmqstore/node00/commitlog
# broker 检测队列中的消息等待时间(默认是200毫秒，自行配置)
waitTimeMillsInSendQueue=200
# 是否启用 DLeger 集群模式
enableDLegerCommitLog=true
# 建议和brokerName保持一致
dLegerGroup=RaftNode00
# DLeger 集群下的节点配置，同一个Group内的各个节点配置必须保持一致
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.82:40912;n2-192.168.1.83:40913
## must be unique
# 当前节点在dLeger 集群下的标识，必须是在同一个RaftClusterGroup内唯一的
dLegerSelfId=n0
# 服务端处理消息发送线程池数量,建议配置成CPU核数
sendMessageThreadPoolNums=16

3.2.2 slave01 配置修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@rocketmq02 ~]# vim /data/apps/rocketmq/conf/dledger/broker-n1.conf
brokerClusterName = RaftCluster
brokerName=RaftNode00
brokerIP1=192.168.1.82
listenPort=30911
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
waitTimeMillsInSendQueue=200
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.82:40912;n2-192.168.1.83:40913
## must be unique
dLegerSelfId=n1
sendMessageThreadPoolNums=16

3.2.3 slave02 配置修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@rocketmq03 ~]# vim /data/apps/rocketmq/conf/dledger/broker-n2.conf
brokerClusterName = RaftCluster
brokerName=RaftNode00
brokerIP1=192.168.1.83
listenPort=30911
namesrvAddr=192.168.1.81:9876;192.168.1.82:9876;192.168.1.83:9876
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
waitTimeMillsInSendQueue=200
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-192.168.1.81:40911;n1-192.168.1.82:40912;n2-192.168.1.83:40913
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=16

3.3 启动

rocketmq01
1
2
3
[root@rocketmq01 ~]# cd /data/apps/rocketmq/
[root@rocketmq01 rocketmq]# nohup sh bin/mqnamesrv > nohubNameserv &
[root@rocketmq01 rocketmq]# nohup sh bin/mqbroker > nohubBroker -c conf/dledger/broker-n0.conf &
rocketmq02
1
2
3
[root@rocketmq02 ~]# cd /data/apps/rocketmq/
[root@rocketmq02 rocketmq]# nohup sh bin/mqnamesrv > nohubNameserv &
[root@rocketmq02 rocketmq]# nohup sh bin/mqbroker > nohubBroker -c conf/dledger/broker-n1.conf &
rocketmq03
1
2
3
[root@rocketmq03 ~]# cd /data/apps/rocketmq/
[root@rocketmq03 rocketmq]# nohup sh bin/mqnamesrv > nohubNameserv &
[root@rocketmq03 rocketmq]# nohup sh bin/mqbroker > nohubBroker -c conf/dledger/broker-n2.conf &

3.4 查看集群

1
2
3
[root@rocketmq01 rocketmq]# sh bin/mqadmin clusterList -n 127.0.0.1:9876
    0   表示 master
    非0 表示 slave

upload successful

  • 以上 Dledger 集群部署完成

    • acl 配置请参考: 1.2.1 acl 配置修改
    • 可视化及配置参考: 1.3 dashboard 可视化

  • dashboard web 页面

upload successful

upload successful

微信

加微信,入技术群

微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

运维技术面：
1. Linux 基础、脚本、服务部署、虚拟化
2. Linux 自动化、服务器硬件
3. Kubernetes、kube 服务部署
4. Windows 客户端,服务端的便捷应用

微信： wnn_chat

写博客的动力,源自于个人爱好!