搭建高可用mongodb集群(副本集) 有更新!

  |   4 评论   |   497 浏览

    先提出以下几个问题:
    * 主节点挂了能否自动切换连接?目前需要手工切换。
    * 主节点的读写压力过大如何解决?
    * 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?
    * 数据压力大到机器支撑不了的时候能否做到自动扩展?

    这篇文章看完这些问题就可以搞定了。NoSQL的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。但是光通过主从模式的架构远远达不到上面几点,由此MongoDB设计了副本集和分片的功能。这篇文章主要介绍副本集

    mongoDB官方已经不建议使用主从模式了,替代方案是采用副本集的模式,点击查看 ,如图:

    那什么是副本集呢?打魔兽世界总说打副本,其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪,会出现玩家暴多怪物少的情况,游戏开发商为了保证玩家的体验度,就为每一批玩家单独开放一个同样的空间同样的数量的怪物,这一个复制的场景就是一个副本,不管有多少个玩家各自在各自的副本里玩不会互相影响。 mongoDB的副本也是这个,主从模式其实就是一个单副本的应用,没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性,就算一个副本挂掉了还有很多副本存在,并且解决了上面第一个问题“主节点挂掉了,整个集群内会自动切换”。难怪mongoDB官方推荐使用这种模式。我们来看看mongoDB副本集的架构图:

    由图可以看到客户端连接到整个副本集,不关心具体哪一台机器是否挂掉。主服务器负责整个副本集的读写,副本集定期同步数据备份,一但主节点挂掉,副本节点就会选举一个新的主服务器,这一切对于应用服务器不需要关心。我们看一下主服务器挂掉后的架构:

    副本集中的副本节点在主节点挂掉后通过心跳机制检测到后,就会在集群内发起主节点的选举机制,自动选举一位新的主服务器。看起来很牛X的样子,我们赶紧操作部署一下!
    官方推荐的副本集机器数量为至少3个,那我们也按照这个数量配置测试。

    • 1.准备两台机器

    10.55.15.124、10.55.15.137、10.55.15.178。 10.55.15.124 当作副本集主节点,10.55.15.137、10.55.15.178作为副本集副本节点。

    • 2.分别在每台机器上建立mongodb副本集测试文件夹
    #存放整个mongodb文件
    mkdir -p /data/mongodb/replset
    
    #存放整个mongodb日志文件
    mkdir -p /data/mongodb/replset/logs
     
    #存放mongodb数据文件
    mkdir -p /data/mongodb/replset/data
     
    #进入mongodb文件夹
    cd  /data/mongodb
    
    • 3.安装mongodb

    注意linux生产环境不能安装32位的mongodb,因为32位受限于操作系统最大2G的文件限制(安装步骤略)

    • 4.分别在每台机器上启动mongodb(两种启动方式)
      • 前台启动
    mongod  --dbpath /data/mongodb/replset/data   --replSet replset
    
      • 后台启动(配置文件方式)
        vim replset.conf
    dbpath = /data/mongodb/replset/data/
    logpath = /data/mongodb/replset/logs/replset.log
    logappend = true
    port = 27017 
    rest = true
    replSet = replset 
    fork = true
    oplogSize = 4000
    directoryperdb = true
    nohttpinterface = true
    profile = 0 
    
    • 5.初始化副本集
      在三台机器上任意一台机器登陆mongodb,这里以10.55.15.124为例
    mongo 10.55.15.124:27017
     
    #使用admin数据库
    use admin
    #定义副本集配置变量,这里的 _id:”replset” 和上面命令参数“ –replSet replset” 要保持一样。
    
    config = { _id:"replset", members:[
    ... {_id:0,host:"10.55.15.137:27017"},
    ... {_id:1,host:"10.55.15.124:27017"},
    ... {_id:2,host:"10.55.15.178:27016"}]
    ... }
    
    # 上面未设置优先级,优先级默认都为1,可根据服务器的配置,进行人为添加priority优先级调整
    config = { _id:"replset", members:[
    ... {_id:0,host:"10.55.15.137:27017,priority: 100"},
    ... {_id:1,host:"10.55.15.124:27017,priority: 70"},
    ... {_id:2,host:"10.55.15.178:27016,priority: 50"}]
    ... }
    
    

    输出:

    {
            "_id" : "replset",
            "members" : [
                    {
                            "_id" : 0,
                            "host" : "10.55.15.137:27017"
                    },
                    {
                            "_id" : 1,
                            "host" : "10.55.15.124:27017"
                    },
                    {
                            "_id" : 2,
                            "host" : "10.55.15.178:27016"
                    }
            ]
    }
    
    • 6.初始化副本集配置
    rs.initiate(config);
    
      • 成功输出
    { "ok" : 1 }
    
      • 失败输出:
    {
            "ok" : 0,
            "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 10.55.151.137:27017 failed with Couldn't get a connection within the time limit",
            "code" : 74,
            "codeName" : "NodeNotFound"
    }
    
      • 失败解决方案
    • 检查防火墙,是否已放行端口或已关闭;
    #RedHat/CentOS 6 查看防火墙状态
     service iptables status
    #关闭防火墙
     service iptables stop 
     
    # CentOS 7关闭防火墙
     systemctl stop firewalld
    
    • 防火墙放过端口
    vim /etc/sysconfig/iptables
    # 在规则最上方加入下面两条规则
    -A INPUT -p tcp --destination-port 27017 -m state --state NEW,ESTABLISHED -j ACCEPT
    -A OUTPUT -p tcp --source-port 27017 -m state --state ESTABLISHED -j ACCEPT
    #  重启防火墙
    
    service iptables restart
    
    • 检查是不是手贱输错ip,导致ip不在同一局域网
    • 7.检查状态
    # 查看副本状态
    rs.status()
    

    输出:

    {
    	"set" : "replset",
    	"date" : ISODate("2017-07-27T00:55:15.505Z"),
    	"myState" : 1,
    	"term" : NumberLong(2),
    	"heartbeatIntervalMillis" : NumberLong(2000),
    	"members" : [
    		{
    			"_id" : 0,
    			"name" : "10.55.15.137:27017",
    			"health" : 1,					# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
    			"state" : 2,
    			"stateStr" : "SECONDARY",    #SECONDARY说明是副本集副本节点
    			"uptime" : 566,
    			"optime" : {
    				"ts" : Timestamp(1501116356, 1),
    				"t" : NumberLong(2)
    			},
    			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
    			"lastHeartbeat" : ISODate("2017-07-27T00:55:15.081Z"),
    			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:14.126Z"),
    			"pingMs" : NumberLong(7),
    			"syncingTo" : "10.55.15.124:27017",
    			"configVersion" : 1
    		},
    		{
    			"_id" : 1,
    			"name" : "10.55.15.124:27017",
    			"health" : 1,				# 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
    			"state" : 1,
    			"stateStr" : "PRIMARY",     #PRIMARY说明是副本集主节点
    			"uptime" : 593,
    			"optime" : {
    				"ts" : Timestamp(1501116356, 1),
    				"t" : NumberLong(2)
    			},
    			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
    			"electionTime" : Timestamp(1501116355, 1),
    			"electionDate" : ISODate("2017-07-27T00:45:55Z"),
    			"configVersion" : 1,
    			"self" : true
    		},
    		{
    			"_id" : 2,
    			"name" : "10.55.15.178:27016",
    			"health" : 1,				    # 1 说明是运行正常,没有挂掉,0则说明该节点已经挂掉
    			"state" : 2,
    			"stateStr" : "SECONDARY",      #SECONDARY说明是副本集副本节点
    			"uptime" : 537,
    			"optime" : {
    				"ts" : Timestamp(1501116356, 1),
    				"t" : NumberLong(2)
    			},
    			"optimeDate" : ISODate("2017-07-27T00:45:56Z"),
    			"lastHeartbeat" : ISODate("2017-07-27T00:55:14.769Z"),
    			"lastHeartbeatRecv" : ISODate("2017-07-27T00:55:13.643Z"),
    			"pingMs" : NumberLong(2),
    			"syncingTo" : "10.55.15.137:27017",
    			"configVersion" : 1
    		}
    	],
    	"ok" : 1
    }
    
    • 8.查看配置信息
      rs.conf()

    priority的优先级越高,成为主节点的概率越高,一开始我们没有指定优先级,则优先级默认都为1,可以根据服务器的配置进行一定的优先级调整(在初始化之前设置)

    {
    	"_id" : "replset",
    	"version" : 1,
    	"protocolVersion" : NumberLong(1),
    	"members" : [
    		{
    			"_id" : 0,
    			"host" : "10.55.15.137:27017",
    			"arbiterOnly" : false,
    			"buildIndexes" : true,
    			"hidden" : false,
    			"priority" : 1,   # 优先级越高,成为主节点的概率越高
    			"tags" : {
    				
    			},
    			"slaveDelay" : NumberLong(0),
    			"votes" : 1
    		},
    		{
    			"_id" : 1,
    			"host" : "10.55.15.124:27017",
    			"arbiterOnly" : false,
    			"buildIndexes" : true,
    			"hidden" : false,
    			"priority" : 1,  # 优先级越高,成为主节点的概率越高
    			"tags" : {
    				
    			},
    			"slaveDelay" : NumberLong(0),
    			"votes" : 1
    		},
    		{
    			"_id" : 2,
    			"host" : "10.55.15.178:27016",
    			"arbiterOnly" : false,
    			"buildIndexes" : true,
    			"hidden" : false,
    			"priority" : 1,   # 优先级越高,成为主节点的概率越高
    			"tags" : {
    				
    			},
    			"slaveDelay" : NumberLong(0),
    			"votes" : 1
    		}
    	],
    	"settings" : {
    		"chainingAllowed" : true,
    		"heartbeatIntervalMillis" : 2000,
    		"heartbeatTimeoutSecs" : 10,
    		"electionTimeoutMillis" : 10000,
    		"getLastErrorModes" : {
    			
    		},
    		"getLastErrorDefaults" : {
    			"w" : 1,
    			"wtimeout" : 0
    		}
    	}
    }
    
    
    • 9.仲裁

    在MongoDB的副本集群中,还有一个角色叫做仲裁服务器,它的特点是只参与投票选举,而不会同步数据。MongoDB的配置与其他副本节点服务器相同,同样也要保证没有数据且启用了–replSet参数。
    * 在mongodb与spring整合,使用副本集模式时,配置文件中只需配置一个仲裁节点的ip及端口即可找到所有节点,不能配置主节点或其他副本节点

    我们可以通过下面的步骤来新增一台仲裁服务器。
    这里新启动了一个mongodb节点(10.55.15.124:27016),连接mongodb主节点执行如下操作

    use admin
    #添加仲裁节点
    replset:PRIMARY>rs.addArb("10.55.15.124:27016");
    
    # 查看状态
    rs.status();
    

    • 10.测试
      • 测试主节点和副本节点读写

    10.55.15.124:27017为主节点,可读可写

    mongo 10.55.15.124:27017
    replset:PRIMARY> use test
    switched to db test
    replset:PRIMARY> db.user.insert({name:"郑明亮"})
    WriteResult({ "nInserted" : 1 })
    repset:PRIMARY> db.user.find()
    { "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
    { "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }
    

    10.55.15.178为副本节点,只读(默认不可读,可先设置db.getMongo().setSlaveOk(),然后进行可读操作)

    mongo 10.55.15.178:17016
    
    replset:SECONDARY> use test
    switched to db test
    
    replset:SECONDARY> db.user.insert({name:"郑明亮"})
    WriteResult({ "writeError" : { "code" : 10107, "errmsg" : "not master" } })
    
    # 副本节点默认也不可读
    replset:SECONDARY> db.user.find().pretty();
    Error: error: { "ok" : 0, "errmsg" : "not master and slaveOk=false", "code" : 13435 }
    ##设置slaveOk为true
    db.getMongo().setSlaveOk();
    replset:SECONDARY> db.user.find().pretty();
    { "_id" : ObjectId("59787c2825db8cd57a622055"), "name" : "zhangsan" }
    { "_id" : ObjectId("597946f3b4a84b6685e284da"), "name" : "郑明亮" }
    
    
      • 模拟主节点故障
    1. 干掉10.55.15.124:27017主节点
    [root@rocketmq-master1 server]# mongod --shutdown --dbpath=/data/mongodb/replset/data/
    killing process with pid: 12975
    
    1. 干掉后,其他副本节点会说10.55.15.124连不上了

    2. 不过此时再登陆可用的这两台mongodb其中任意一台,以10.55.15.137:27017为例
    3. 查看状态
    repset:PRIMARY>rs.status()
    

    让挂掉的节点重新上线后,再查看状态

    寻门而入,破门而出

    评论

    发表评论

    validate