搭建高可用mongodb集群(副本集)

  |   0 评论   |   0 浏览

先提出以下几个问题:

  • 主节点挂了能否自动切换连接?目前需要手工切换。
  • 主节点的读写压力过大如何解决?
  • 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?
  • 数据压力大到机器支撑不了的时候能否做到自动扩展?

这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点,由此MongoDB设计了副本集和分片的功能。这篇文章主要介绍副本集

mongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模式,点击查看 ,如图:

那什么是副本集呢?打魔兽世界总说打副本,其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪,会出现玩家暴多怪物少的情况,游戏开发商为了保证玩家的体验度,就为每一批玩家单独开放一个同样的空间同样的数量的怪物,这一个复制的场景就是一个副本,不管有多少个玩家各自在各自的副本里玩不会互相影响。 mongoDB的副本也是这个,主从模式其实就是一个单副本的应用,没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性,就算一个副本挂掉了还有很多副本存在,并且解决了上面第一个问题“主节点挂掉了,整个集群内会自动切换”。难怪mongoDB官方推荐使用这种模式。我们来看看mongoDB副本集的架构图:

由图可以看到客户端连接到整个副本集,不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写,副本集定期同步数据备份,一但主节点挂掉,副本节点就会选举一个新的主服务器,这一切对于应用服务器不需要关心。我们看一下主服务器挂掉后的架构:

副本集中的副本节点在主节点挂掉后通过心跳机制检测到后,就会在集群内发起主节点的选举机制,自动选举一位新的主服务器。看起来很牛X的样子,我们赶紧操作部署一下!
官方推荐的副本集机器数量为至少3个,那我们也按照这个数量配置测试。

  • 1.准备两台机器

10.55.15.124、10.55.15.137、10.55.15.178。 10.55.15.124 当作副本集主节点,10.55.15.137、10.55.15.178作为副本集副本节点。

  • 2.分别在每台机器上建立mongodb副本集测试文件夹
#存放整个mongodb文件
mkdir -p /data/mongodb/replset

#存放整个mongodb日志文件
mkdir -p /data/mongodb/replset/logs
 
#存放mongodb数据文件
mkdir -p /data/mongodb/replset/data
 
#进入mongodb文件夹
cd  /data/mongodb
  • 3.安装mongodb

注意linux生产环境不能安装32位的mongodb,因为32位受限于操作系统最大2G的文件限制(安装步骤略)

  • 4.分别在每台机器上启动mongodb(两种启动方式)
    • 前台启动
mongod  --dbpath /data/mongodb/replset/data   --replSet replset
    • 后台启动(配置文件方式)
      vim replset.conf
dbpath = /data/mongodb/replset/data/
logpath = /data/mongodb/replset/logs/replset.log
logappend = true
port = 27017 
rest = true
replSet = replset 
fork = true
oplogSize = 4000
directoryperdb = true
nohttpinterface = true
profile = 0 
  • 5.初始化副本集
    在三台机器上任意一台机器登陆mongodb,这里以10.55.15.124为例
mongo 10.55.15.124:27017
 
#使用admin数据库
use admin
#定义副本集配置变量,这里的 _id:”replset” 和上面命令参数“ –replSet replset” 要保持一样。

config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017"},
... {_id:1,host:"10.55.15.124:27017"},
... {_id:2,host:"10.55.15.178:27016"}]
... }

# 上面未设置优先级,优先级默认都为1,可根据服务器的配置,进行人为添加priority优先级调整
config = { _id:"replset", members:[
... {_id:0,host:"10.55.15.137:27017,priority: 100"},
... {_id:1,host:"10.55.15.124:27017,priority: 70"},
... {_id:2,host:"10.55.15.178:27016,priority: 50"}]
... }

输出:

{
        "_id" : "replset",
        "members" : [
                {
                        "_id" : 0,
                        "host" : "10.55.15.137:27017"
                },
                {
                        "_id" : 1,
                        "host" : "10.55.15.124:27017"
                },
                {
                        "_id" : 2,
                        "host" : "10.55.15.178:27016"
                }
        ]
}
  • 6.初始化副本集配置
rs.initiate(config);
    • 成功输出
{ "ok" : 1 }
    • 失败输出:
{
        "ok" : 0,
        "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 10.55.151.137:27017 failed with Couldn't get a connection within the time limit",
        "code" : 74,
        "codeName" : "NodeNotFound"
}
    • 失败解决方案
  • 检查防火墙,是否已放行端口或已关闭;
#RedHat/CentOS 6 查看防火墙状态
 service iptables status
#关闭防火墙
 service iptables stop 
 
# CentOS 7关闭防火墙
 systemctl stop firewalld
  • 防火墙放过端口
vim /etc/sysconfig/iptables
# 在规则最上方加入下面两条规则
-A INPUT -p tcp --destination-port 27017 -m state --state NEW,ESTABLISHED -j ACCEPT
-A OUTPUT -p tcp --source-port 27017 -m state --state ESTABLISHED -j ACCEPT
#  重启防火墙

service iptables restart
  • 检查是不是手贱输错ip,导致ip不在同一局域网
  • 7.检查状态
# 查看副本状态
rs.status()

输出:

{
	"set" : "replset",
	"date" : ISODate("2017-07-27T00:55:15.505Z"),
	"myState" : 1,
	"term" : NumberLong(2),
	"heartbeatIntervalMillis" : NumberLong(2000),
	"members" : [
		{
			"_id" : 0,
			"name" : "10.55.15.137:27017",
			"health" : 1,					# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",    #SECONDARY说明是副本集副本节点
			"uptime" : 566,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:15.081Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:14.126Z"),
			"pingMs" : NumberLong(7),
			"syncingTo" : "10.55.15.124:27017",
			"configVersion" : 1
		},
		{
			"_id" : 1,
			"name" : "10.55.15.124:27017",
			"health" : 1,				# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 1,
			"stateStr" : "PRIMARY",     #PRIMARY说明是副本集主节点
			"uptime" : 593,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"electionTime" : Timestamp(1501116355, 1),
			"electionDate" : ISODate("2017-07-27T00:45:55Z"),
			"configVersion" : 1,
			"self" : true
		},
		{
			"_id" : 2,
			"name" : "10.55.15.178:27016",
			"health" : 1,				    # 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
			"state" : 2,
			"stateStr" : "SECONDARY",      #SECONDARY说明是副本集副本节点
			"uptime" : 537,
			"optime" : {
				"ts" : Timestamp(1501116356, 1),
				"t" : NumberLong(2)
			},
			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
			"lastHeartbeat" : ISODate("2017-07-27T00:55:14.769Z"),
			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:13.643Z"),
			"pingMs" : NumberLong(2),
			"syncingTo" : "10.55.15.137:27017",
			"configVersion" : 1
		}
	],
	"ok" : 1
}
  • 8.查看配置信息
    rs.conf()

priority的优先级越高,成为主节点的概率越高,一开始我们没有指定优先级,则优先级默认都为1,可以根据服务器的配置进行一定的优先级调整(在初始化之前设置)

{
	"_id" : "replset",
	"version" : 1,
	"protocolVersion" : NumberLong(1),
	"members" : [
		{
			"_id" : 0,
			"host" : "10.55.15.137:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 1,
			"host" : "10.55.15.124:27017",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,  # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		},
		{
			"_id" : 2,
			"host" : "10.55.15.178:27016",
			"arbiterOnly" : false,
			"buildIndexes" : true,
			"hidden" : false,
			"priority" : 1,   # 优先级越高,成为主节点的概率越高
			"tags" : {
				
			},
			"slaveDelay" : NumberLong(0),
			"votes" : 1
		}
	],
	"settings" : {
		"chainingAllowed" : true,
		"heartbeatIntervalMillis" : 2000,
		"heartbeatTimeoutSecs" : 10,
		"electionTimeoutMillis" : 10000,
		"getLastErrorModes" : {
			
		},
		"getLastErrorDefaults" : {
			"w" : 1,
			"wtimeout" : 0
		}
	}
}

  • 9.仲裁

在MongoDB的副本集群中,还有一个角色叫做仲裁服务器,它的特点是只参与投票选举,而不会同步数据。MongoDB的配置与其他副本节点服务器相同,同样也要保证没有数据且启用了--replSet参数。

  • 在mongodb与spring整合,使用副本集模式时,配置文件中只需配置一个仲裁节点的ip及端口即可找到所有节点,不能配置主节点或其他副本节点

我们可以通过下面的步骤来新增一台仲裁服务器。
这里新启动了一个mongodb节点(10.55.15.124:27016),连接mongodb主节点执行如下操作

use admin
#添加仲裁节点
replset:PRIMARY>rs.addArb("10.55.15.124:27016");

# 查看状态
rs.status();

  • 10.测试
    • 测试主节点和副本节点读写

10.55.15.124:27017为主节点,可读可写

mongo 10.55.15.124:27017
replset:PRIMARY> use test
switched to db test
replset:PRIMARY> db.user.insert({name:"zml2015"})
WriteResult({ "nInserted" : 1 })
repset:PRIMARY> db.user.find()
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "zml2015" }

10.55.15.178为副本节点,只读(默认不可读,可先设置db.getMongo().setSlaveOk(),然后进行可读操作)

mongo 10.55.15.178:17016

replset:SECONDARY> use test
switched to db test

replset:SECONDARY> db.user.insert({name:"zml2015"})
WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })

# 副本节点默认也不可读
replset:SECONDARY> db.user.find().pretty();
Error: error: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 }
##设置slaveOk为true
db.getMongo().setSlaveOk();
replset:SECONDARY> db.user.find().pretty();
{ "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
{ "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "zml2015" }

    • 模拟主节点故障
  1. 干掉10.55.15.124:27017主节点
[[email protected] server]# mongod --shutdown --dbpath=/data/mongodb/replset/data/
killing process with pid: 12975
  1. 干掉后,其他副本节点会说10.55.15.124连不上了

  2. 不过此时再登陆可用的这两台mongodb其中任意一台,以10.55.15.137:27017为例
  3. 查看状态
repset:PRIMARY>rs.status()

让挂掉的节点重新上线后,再查看状态