2013年5月4日星期六

MySQL数据库备份和还原的常用命令

备份MySQL数据库的命令
mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql
备份MySQL数据库为带删除表的格式
备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。
mysqldump -–add-drop-table -uusername -ppassword databasename > backupfile.sql
直接将MySQL数据库压缩备份
mysqldump -hhostname -uusername -ppassword databasename | gzip > backupfile.sql.gz
备份MySQL数据库某个(些)表
mysqldump -hhostname -uusername -ppassword databasename specific_table1 specific_table2 > backupfile.sql
同时备份多个MySQL数据库
mysqldump -hhostname -uusername -ppassword –databases databasename1 databasename2 databasename3 > multibackupfile.sql
仅仅备份数据库结构
mysqldump –no-data –databases databasename1 databasename2 databasename3 > structurebackupfile.sql
备份服务器上所有数据库
mysqldump –all-databases > allbackupfile.sql
还原MySQL数据库的命令
mysql -hhostname -uusername -ppassword databasename < backupfile.sql
还原压缩的MySQL数据库
gunzip < backupfile.sql.gz | mysql -uusername -ppassword databasename
将数据库转移到新服务器
mysqldump -uusername -ppassword databasename | mysql –host=*.*.*.* -C databasename

[转载] mysql数据库主主同步实施方案实践



笔者根据业务系统高可用的实际需要并结合企业硬件设施的实际情况,为保障业务系统为用户提供不间断服务。在业务应用交付层采用了数据库实时同步技术,在系统层采用了heartbeat技术。本博文记录了笔者一步步实现mysql数据同步的操作步骤及其中遇到的问题和解决方法。
设置主主同步具体步骤如下所示(每个服务器各做一边):
1.首先创建一个数据库为dbname
2.授权数据库指向特定的用户
grant all on fzh.* to myapp@'%' identified by '123abc'; #把数据库fzh授权给myapp账户
a)select user,host,password from mysql.user; #检查用户是否有密码
b)select user,length(user),host,length(host) from mysql.user;  #检查用户名后是否有空格
c)select current_user();#查看当前登陆是谁
以上三步解决创建用户后使用口令无法登陆的问题,如果博友们没有遇到无法使用创建的用户登陆的问题可不操作a、b及c步骤。
mysql>use mysql;
mysql>update user set password=password('123456') where user='myapp';
mysql>flush privileges;
最好把匿名用户也删除了
mysql>delete from user where user='';
正式设置主主同步
1.登陆mysql1创建数据库 create database mms_sd
2. grant replication slave on mms_sd.* to myapp@'10.0.211.14' identified by '123' #允许mysql2数据库服务器拷贝数据
3.登陆mysql2服务器重复以上操作
4.配置mysql1数据库的主配置文件my.cnf
添加内容如下所示:
Ø  Mysql1:
[mysqld]
log-bin=mysql-bin
server-id=1
binlog-do-db=itwhhsol
binlog-ignore-db=mysql
#different
replicate-do-db=itwhhsol
replicate-ignore-db=mysql
log-slave-updates
slave-skip-errors=all
sync_binlog=1
auto_increment_increment=2
auto_increment_offset=1
Ø  mysql2:
[mysqld]
log-bin=mysql-bin
server-id=2
binlog-do-db=itwhhsol
binlog-ignore-db=mysql
#different
replicate-do-db=itwhhsol
replicate-ignore-db=mysql
log-slave-updates
slave-skip-errors=all
sync_binlog=1
auto_increment_increment=2
auto_increment_offset=2
5.导入数据
mysql -uroot -p mydb < /tmp/mydb.sql
6.锁表备份数据
FLUSH TABLES WITH READ LOCK;
SHOW MASTER STATUS;
mysqldump --user=root -p mydb > /tmp/mydb.sql
解表unlock tables;
7.数据库同步指令
停止主主复制stop slave
调整主mysql
Show master statuss;#确认mysql数据库的状态并根据返回的状态设置同步信息
mysql> change master to master_host='10.0.211.13',\
    -> master_user='myapp',\
    -> master_password='fzhftp100',\
    -> master_log_file=' mysql-bin.000015',\
-> master_log_pos= 2565;
调整副mysql:
mysql> change master to master_host='10.0.211.14',\
    -> master_user='myapp',\
    -> master_password='fzhftp100',\
    -> master_log_file=' mysql-bin.000009',\
    -> master_log_pos=98;  
Query OK, 0 rows affected (0.00 sec)

最后确认是否设置成功
show master status \G
回显如下信息
mysql> show slave status \G
*************************** 1. row ***************************
             Slave_IO_State: Waiting for master to send event
                Master_Host: 192.168.202.73
                Master_User: myapp
                Master_Port: 3306
              Connect_Retry: 60
            Master_Log_File: mysql-bin.000002
        Read_Master_Log_Pos: 3591
             Relay_Log_File: mysqld-relay-bin.000018
              Relay_Log_Pos: 1111
      Relay_Master_Log_File: mysql-bin.000002
           Slave_IO_Running: Yes
          Slave_SQL_Running: Yes
            Replicate_Do_DB: itwhhsol
        Replicate_Ignore_DB: mysql
         Replicate_Do_Table:
     Replicate_Ignore_Table:
    Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
                 Last_Errno: 0
                 Last_Error:
               Skip_Counter: 0
        Exec_Master_Log_Pos: 3591
            Relay_Log_Space: 1111
            Until_Condition: None
             Until_Log_File:
              Until_Log_Pos: 0
         Master_SSL_Allowed: No
         Master_SSL_CA_File:
         Master_SSL_CA_Path:
            Master_SSL_Cert:
          Master_SSL_Cipher:
             Master_SSL_Key:
      Seconds_Behind_Master: 0
1 row in set (0.00 sec)
则表示配置成功
测试
Grant select,update,insert,delete on db.*  to myapp@’%’
通过navicat或者客户端连接后进行修改添加数据进行测试
运维记录
mysqldump -h 127.0.0.1 -u root -p  mms_sdmtv > mms.sql
#backupdb
mysql -u root -p mms_sdmtv< mms.sql
#restoredb
GRANT ALL PRIVILEGES ON *.* TO monty@”%” IDENTIFIED
BY ’password’ WITH GRANT OPTION;
grant all privileges on *.* to root@'%' identified by '' with grant option
flush privileges
revoke all privileges on *.* from root@'%';
fzhftp100
#myapp的认证密码

change master to
master_host='10.0.211.14',master_user='myapp',master_password='fzhftp100',master_log_file='mysql-bin.000014',master_log_pos=98;
#记住不日志文件不要有空格否则会同步失败
change master to
master_host='10.0.211.13',master_user='myapp',master_password='fzhftp100',master_log_file='mysql-bin.000017',master_log_pos=98;
#记住不日志文件不要有空格否则会同步失败
不小心删除bin日志导致主主同步失败可以用以下方法再次
Slave:stop slave;
Master:flush logs
Master: show master status;
Slave: CHANGE MASTER TO MASTER_LOG_FILE=’log-bin.00000X′, MASTER_LOG_POS=106;
Slave: start slave;
亦可以用SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;

Mysql高可用性实施方案





目录
一、实施测试环境:.... 2
二、系统架构图.... 2
三、Mysql的安装步骤.... 3
四、主从双机热备配置步骤(异步复制功能).... 5
4.1主服务器Master配置... 5
4.1.1 创建同步用户... 5
4.1.2 修改mysql配置文件... 5
4.1.3 重启mysql服务... 6
4.1.4 查看主服务器状态... 7
4.2 从服务器Slave配置... 7
4.2.1修改配置文件... 7
4.2.2重启mysql服务... 8
4.2.3用changemster 语句指定同步位置... 8
4.2.4查看从服务器(Slave)状态... 8
4.3 测试同步... 9
4.4 配置参数说明... 10
5、设置双机半同步功能.... 13
5.1简介... 13
5.2设置主库... 13
5.3 设置从库:... 13
5.4 查看半同步状态:... 14
6、安装MHAmanager和MHAnode.. 14
6.1简介... 14
6.2部署结构... 14
6.3安装第三方yum源... 15
6.4安装步骤... 15
6.5配置manager. 15
6.6设置远程访问mysql权限... 16
6.7建立ssh无密码登录环境... 17
6.8测试运行... 17

一、实施测试环境:
系统:centos6.2
Mysql版本:mysql-5.5.28
准备两台服务器做双机热备,主从数据服务器的版本均为mysql-5.5.28
主服务器Master ip:59.151.15.36
从服务器Slave ip: 218.206.70.146
双机热备方案:mysqlreplication(异步复制)(5.5新增的半同步复制)
双机failover方案:mha软件


二、系统架构图
本实施方案采用mysql自身的复制功能和第三方开源的高可用性软件MHA,如下图所示:

三、 Mysql的安装步骤
mysql从5.5版本开始,不再使用./configure编译,而是使用cmake编译器,具体的cmake编译参数可以参考mysql官网文档(※ 非常重要)
http://dev.mysql.com/doc/refman/5.5/en/source-configuration-options.html
mysql-5.5.28.tar.gz源码包下载地址:
http://cdn.mysql.com/Downloads/MySQL-5.5/mysql-5.5.28.tar.gz
我的mysql目录配置如下:
安装路径:/usr/local/mysql
数据库路径:/data/mysql

准备工作:安装基本依赖包,先用yum安装cmake、automake 、autoconf ,另MySQL 5.5.x需要最少安装的包有:bison,gcc、gcc-c++、ncurses-devel

(1)安装依赖包
# yum install cmake make -y
# yum install gcc gcc-c++ autoconf bison automake zlib* fiex* libxml*ncurses-dev

(2)解压
# tar -zxvf mysql-5.5.28.tar.gz

(3)进入安装目录
# cd mysql-5.5.28

(4)用cmake编译安装
# cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \
        -DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock \
        -DDEFAULT_CHARSET=utf8 \
        -DDEFAULT_COLLATION=utf8_general_ci \
        -DWITH_EXTRA_CHARSETS:STRING=utf8,gbk \
        -DWITH_INNOBASE_STORAGE_ENGINE=1 \
        -DWITH_READLINE=1 \
        -DENABLED_LOCAL_INFILE=1 \
        -DMYSQL_DATADIR=/data/mysql/ \
        -DMYSQL_USER=mysql \
        -DMYSQL_TCP_PORT=3306

# make && make install



(5)建立mysql组
# groupadd mysql

(6)建立mysql用户并且加入到mysql组中
 # useradd mysql –g mysql

(7)把mysql文件设定为mysql用户访问权限
# chown –R mysql:mysql  /usr/local/mysql

(7)转为mysql用户操作状态
# su mysql

(8)进入到mysql目录中
# cd /usr/local/mysql

(9)把mysql配置文件复制到/etc/my.cnf(其中设置了mysql的各文件路径和性能参数)
# cp support-files/my-medium.cnf  /etc/my.cnf

(10)使用mysql_install_db初始化表并规定用mysql用户访问,会在mysql目录下产生data目录
# scripts/mysql_install_db  --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql/

(11)使用mysqld_safe命令启动安全模式下的mysql服务器
# ./bin/mysqld_safe --user=mysql &
(注:如果启动mysql没有问题,应该会出现类似这样的提示:
[1] 42264
# Starting mysqld deamon with databases from/usr/local/mysql/data
如果出现mysql ended这样的语句,表示mysql没有正常启动,可以到log中查找问题,log文件一般在/etc/my.cnf中配置,大多是权限不对导致)

(12)创建mysql服务器的用户名和密码(这里创建root用户名和密码123456)
# ./bin/mysqladmin –u root password 123456

(13)设置mysqld服务,使其能开机启动
# cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld

(14)启动mysql服务器
# service mysqld start

(15)可查看3306端口是否已打开
# netstat –nl | grep 3306

(16)登录mysql服务器中(能成功登录到mysql,说明安装成功)
# ./bin/mysql –u root –p123456



四、主从双机热备配置步骤(异步复制功能)

4.1主服务器Master配置

4.1.1 创建同步用户
进入mysql操作界面,在主服务器上为从服务器建立一个连接帐户,该帐户必须授予REPLICATIONSLAVE权限。因为从mysql版本3.2以后就可以通过REPLICATION对其进行双机热备的功能操作。

(1)设置登录访问mysql复制权限,账号密码都为:repl,使从服务器能远程复制:
mysql> grant replication slave on *.* to'repl'@'218.206.70.146' identified by 'repl';
mysql> flush privileges;

(2)也用同样的方式在从服务器也创建复制权限,使主服务器能访问从:
mysql> grant replication slave on *.* to'repl'@'59.151.15.36' identified by 'repl';
mysql> flush privileges;


(3)创建好同步连接帐户后,我们可以能过在从服务器(Slave)上用replicat帐户对主服务器(Master)数据库进行访问下,看下是否能连接成功。
在从服务器(Slave)上输入如下指令:
[root@YD146 ~]# mysql -h59.151.15.36 -urepl–prepl
如果从服务器能登上无误,则表示能登录成功,说明可以对这两台服务器进行双机热备进行操作。

4.1.2 修改mysql配置文件
如果上面的准备工作做好,那边我们就可以进行对mysql配置文件进行修改了,首先找到mysql日志所有在目录,一般在安装好mysql服务后,都会将配置文件复制一一份出来放到/ect目录下面,并且配置文件命名为:my.cnf。即配置文件准确目录为/etc/my.cnf
找到配置文件my.cnf打开后,在[mysqld]下修改即可:
[mysqld]
server-id = 1
log-bin=mysql-bin               //其中这两行是本来就有的,可以不用动,添加下面两行即可
binlog-do-db = test
binlog-ignore-db = mysql

4.1.3 重启mysql服务
修改完配置文件后,保存后,重启一下mysql服务,如果成功则没问题。


4.1.4 查看主服务器状态
进入mysql服务后,可通过指令查看Master状态,输入如下指令:
注意看里面的参数,特别前面两个File:mysql-bin.000016和Position:107,在从服务器(Slave)配置主从关系会有用到的。
(注:这里使用了锁表,目的是为了产生环境中不让进新的数据,好让从服务器定位同步位置,初次同步完成后,记得解锁。)











4.2 从服务器Slave配置

4.2.1修改配置文件
因为这里面是以主-从方式实现mysql双机热备的,所以在从服务器就不用在建立同步帐户了,直接打开配置文件my.cnf进行修改即可,道理还是同修改主服务器上的一样,只不过需要修改的参数不一样而已。如下:
[mysqld]
server-id = 2
log-bin=mysql-bin
replicate-do-db = test
replicate-ignore-db =mysql,information_schema,performance_schema

4.2.2重启mysql服务
修改完配置文件后,保存后,重启一下mysql服务,如果成功则没问题。

4.2.3用change mster 语句指定同步位置
这步是最关键的一步了,在进入mysql操作界面后,输入如下指令:
mysql>stopslave;          //先停步slave服务线程,这个是很重要的,如果不这样做会造成以下操作不成功。

mysql>change master to
>master_host='59.151.15.36',master_user='repl,master_password='repl',
> master_log_file=' mysql-bin.000016',master_log_pos=107;
(注:master_log_file, master_log_pos由主服务器(Master)查出的状态值中确定。也就是刚刚叫注意的。master_log_file对应File, master_log_pos对应Position。Mysql 5.x以上版本已经不支持在配置文件中指定主服务器相关选项。)

则要重新设置slave。指令如下
mysql>stop slave;
mysql>reset slave;
之后停止slave线程重新开始。成功后,则可以开启slave线程了。
mysql>start slave;

4.2.4查看从服务器(Slave)状态
用如下指令进行查看
mysql> show slave status\G;
查看下面两项值均为Yes,即表示设置从服务器成功。
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

4.3 测试同步
在数据库test创建了一个表tb_mobile没有数据,我们可以先查看下两服务器的数据库是否有数据:
Master:59.151.15.36

Slave:218.206.70.146
好了,现在可以在Master服务器中插入数据看下是否能同步。



Master:59.151.15.36

Slave:218.206.70.146

可以从上面两个截图上看出,在Master服务器上进行插入的数据在Slave服务器可以查到,这就表示双机热备配置成功了。


4.4 配置参数说明

Server-id
ID值唯一的标识了复制群集中的主从服务器,因此它们必须各不相同。Master_id必须为1到232-1之间的一个正整数值,slave_id值必须为2到232-1之间的一个正整数值。

Log-bin
表示打开binlog,打开该选项才可以通过I/O写到Slave的relay-log,也是可以进行replication的前提。

Binlog-do-db
表示需要记录二进制日志的数据库。如果有多个数据可以用逗号分隔,或者使用多个binlog-do-dg选项。

Binglog-ingore-db
表示不需要记录二进制日志的数据库,如果有多个数据库可用逗号分隔,或者使用多binglog-ignore-db选项。

Replicate-do-db
表示需要同步的数据库,如果有多个数据可用逗号分隔,或者使用多个replicate-do-db选项。

Replicate-ignore-db
表示不需要同步的数据库,如果有多个数据库可用逗号分隔,或者使用多个replicate-ignore-db选项。

Master-connect-retry
master-connect-retry=n表示从服务器与主服务器的连接没有成功,则等待n秒(s)后再进行管理方式(默认设置是60s)。如果从服务器存在mater.info文件,它将忽略些选项。

Log-slave-updates
配置从库上的更新操作是否写入二进制文件,如果这台从库,还要做其他从库的主库,那么就需要打这个参数,以便从库的从库能够进行日志同步。

Slave-skip-errors
在复制过程,由于各种原因导致binglo中的sql出错,默认情况下,从库会停止复制,要用户介入。可以设置slave-skip-errors来定义错误号,如果复制过程中遇到的错误是定义的错误号,便可以路过。如果从库是用来做备份,设置这个参数会存在数据不一致,不要使用。如果是分担主库的查询压力,可以考虑。

Sync_binlog=1 or N
Sync_binlog的默认值是0,这种模式下,MySQL不会同步到磁盘中去。这样的话,Mysql依赖操作系统来刷新二进制日志binary log,就像操作系统刷新其他文件的机制一样。因此如果操作系统或机器(不仅仅是Mysql服务器)崩溃,有可能binlog中最后的语句丢失了。要想防止这种情况,可以使用sync_binlog全局变量,使binlog在每N次binlog 写入后与硬盘同步。当sync_binlog变量设置为1是最安全的,因为在crash崩溃的情况下,你的二进制日志binary log只有可能丢失最多一个语句或者一个事务。但是,这也是最慢的一种方式(除非磁盘有使用带蓄电池后备电源的缓存cache,使得同步到磁盘的操作非常快)。
即使sync_binlog设置为1,出现崩溃时,也有可能表内容和binlog内容之间存在不一致性。如果使用InnoDB表,Mysql服务器处理COMMIT语句,它将整个事务写入binlog并将事务提交到InnoDB中。如果在两次操作之间出现崩溃,重启时,事务被InnoDB回滚,但仍然存在binlog中。可以用-innodb-safe-binlog选项来增加InnoDB表内容和binlog之间的一致性。(注释:在Mysql 5.1版本中不需要-innodb-safe-binlog;由于引入了XA事务支持,该选项作废了),该选项可以提供更大程度的安全,使每个事务的binlog(sync_binlog=1)和(默认情况为真)InnoDB日志与硬盘同步,该选项的效果是崩溃后重启时,在滚回事务后,Mysql服务器从binlog剪切回滚的InnoDB事务。这样可以确保binlog反馈InnoDB表的确切数据等,并使从服务器保持与主服务器保持同步(不接收回滚的语句)。

Auto_increment_offset和Auto_increment_increment
Auto_increment_increment和auto_increment_offset用于主-主服务器(master-to-master)复制,并可以用来控制AUTO_INCREMENT列的操作。两个变量均可以设置为全局或局部变量,并且假定每个值都可以为1到65,535之间的整数值。将其中一个变量设置为0会使该变量为1。
这两个变量影响AUTO_INCREMENT列的方式:auto_increment_increment控制列中的值的增量值,auto_increment_offset确定AUTO_INCREMENT列值的起点。
如果auto_increment_offset的值大于auto_increment_increment的值,则auto_increment_offset的值被忽略。例如:表内已有一些数据,就会用现在已有的最大自增值做为初始值。

5、设置双机半同步功能

5.1简介
Mysql5.5以后新增了半同步复制功能。在使用replication时,主服务器把要提交的事物至少传给了一个备库。增加了主库和从库之间事物的一致性。MHA配合半同步复制效果更佳。虽然启用半同步复制会降低一些性能。但为保持整个系统的正常运行还是值得的。

5.2设置主库
(1)拷贝安装模块
cp /usr/local/mysql/lib/plugin/*.so /usr/local/mysql/lib/mysql/plugin/
不拷贝的话默认找不到模块文件。

(2)安装半同步模块
mysql> install plugin rpl_semi_sync_master soname'semisync_master.so';
mysql> set global rpl_semi_sync_master_enabled=1;
mysql> set global rpl_semi_sync_master_timeout=1000;

(3)可以show一下验证是否打开了semisync功能。
mysql> show global status like 'rpl%';

(4)为了让mysql在重启时自动加载该功能,在/etc/my.cnf中加入:
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=1000
1000为1000ms的超时时间。

5.3 设置从库:
mysql> install plugin rpl_semi_sync_master soname'semisync_master.so';
mysql> set global rpl_semi_sync_master_enabled=1;
mysql> set global rpl_semi_sync_master_timeout=1000;
mysql> install plugin rpl_semi_sync_slave soname'semisync_slave.so';
mysql> set global rpl_semi_sync_slave_enabled=1;
在/etc/my.cnf中加入:
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=1000
rpl_semi_sync_slave_enabled=1


5.4 查看半同步状态:

可在主库上再次验证半同步复制是否正常开启,并监听到客户端。
Mysql>show global status like “rpl%”;
可以看到Rpl_semi_sync_master_clients 是1.说明半同步复制正常。

6、安装MHAmanager和MHA node

6.1简介
mysql-master-ha:mysql master高可用性管理工具
MHA自动化主服务器故障转移,快速将从服务器晋级为主服务器(通常在10-30s),而不影响复制的一致性,不需要花钱买更多的新服务器,不会有性能损耗,容易安装,不必更改现有的部署环境,适用于任何存储引擎。。
MHA分管理节点和数据库节点,数据库节点由mysql主从或者主主从构成,当主库挂掉后,管理节点会自动将从节点提升为主节点;管理节点的角色类似于 oracle数据库中的fast start failover中的observer,但mha上层可以通过keepalive部署VIP,程序连接数据库使用VIP,从而实现后台数据库的故障切换透明化

MHA所需条件
(1)SSH公钥验证
(2)MHA目前只支持Linux系统
(3)MHA支持mysql5.0或以上版本
(4)候选主服务器log-bin必须开启
(5)候选主服务器上的复制用户必须存在

6.2部署结构
在主服务器59.151.15.36上安装node节点
在从服务器218.206.70.146上安装manager、node节点,从服务器作为监听控制节点,一旦主服务宕机,就控制服务切换到从服务器。

 
6.3安装第三方yum源
有些perl依赖包原生的yum不一定能找到,所以下载epel的rpm包,安装即可。epel源的包比较全,MHA依赖的perl包都能直接用yum安装。
rpm -ivh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-6.noarch.rpm

6.4安装步骤
(1)在从服务器218.206.70.146安装依赖包
# yum install perl-DBD-MySQL
# yum install perl-Config-Tiny
# yum install perl-Log-Dispatch
# yum install perl-Parallel-ForkManager
# yum install perl-Config-IniFiles

(2)安装mha-node
# tar zxvf mha4mysql-node-0.53.tar.gz
# cd mha4mysql-node-0.53
# perl Makefile.PL;make;make install

(3)安装mha-manager
# tar zxvf mha4mysql-manager-0.53.tar.gz
# cd mha4mysql-manager-0.53
# perl Makefile.PL ;make;make install

(4)在主服务器59.151.15.36上安装perl-DBD-MySQL和mha-node即可。


6.5配置manager
拷贝样例文件到/usr/local/bin下
[root@manager mha4mysql-manager-0.53]# cp samples/scripts/*/usr/local/bin/
注意其中的master_ip_failover是不能直接使用的,需要进行修改。

编辑主配置文件:
(1)建立配置文件目录
# mkdir /etc/masterha

(2)建立app1目录
# mkdir -p /masterha/app1

(3)复制配置文件到masterha中
# cp samples/conf/* /etc/masterha/

(4)编辑配置文件app1.cnf
# vim /etc/masterha/app1.cnf
[server default]
manager_workdir=/etc/masterha/app1    //app1目录
manager_log=/etc/masterha/app1/manager.log    //管理日志
#remote_workdir=/usr/local/mysql

user=root         //mysql的管理用户名
password=123456   //mysql的管理员密码
ssh_user=root     //使用root账号ssh登录
repl_user=repl    //mysql复制账号
repl_password=repl //mysql复制账号密码
ping_interval=1    //ping间隔,这里设置一次ping不通即failover
shutdown_script="" //强制关机脚本,这里设为空

master_ip_failover_script=/usr/local/bin/master_ip_failover  //主从故障切换脚本

master_ip_online_change_script=/usr/local/bin/master_ip_online_change_script
//ip漂移脚本,配合vip使用

report_script=""    //报告脚本,这里设为空

[server1]
hostname=59.151.15.36                     //主服务器ip
master_binlog_dir=/data/mysql             //主服务器binlog目录
candidate_master=1                        /主服务器数

[server2]
hostname=218.206.70.146                    //备服务器ip
master_binlog_dir=/data/mysql            //备服务器binlog目录
candidate_master=1                       //备服务器数


到这里基本上监控机的安装配置算是完成了。


6.6设置远程访问mysql权限

(1)Mysql节点的配置:
主节点59.151.15.36
mysql> grant all on *.* to root@218.206.70.146 identified by'123456';
mysql> grant all on *.* to root@59.151.15.36 identified by'123456';

(2)备选主机点(从节点)
mysql> grant all on *.* to root@218.206.70.146 identified by'123456';
mysql> grant all on *.* to root@59.151.15.36  identified by '123456';


6.7建立ssh无密码登录环境

在主机点59.151.15.36上
(1)建立ssh密钥公钥
# ssh-keygen -t rsa

(2)进入ssh文件夹
# cd /root/.ssh

(3)把公钥命名为认证
# cp id_rsa.pub id_rsa.pub authorized_keys

(4)把私钥传给备服务器
# scp id_rsa root@218.206.70.146:root/.ssh/id_rsa

(5)把公钥传给备服务器
# scp authorized_keys root@218.206.70.146:root/.ssh/authorized_keys


6.8测试运行
[root@manager ~]# masterha_check_ssh --conf=/etc/app1.cnf
检查ssh登录是否完全正确
[root@manager ~]# masterha_check_repl --conf=/etc/app1.cnf
检查复制情况是否完全正确。

都无误后可以启动manager
[root@manager ~]# nohup masterha_manager --conf=/etc/app1.cnf< /dev/null > /masterha/app1/manager.log 2>&1 &

MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践




Mysql作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中,由单台Mysql作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。
因此,一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力 这样的方案来进行部署与实施的。
如下图所示:
下面是我在实际工作过程中所整理的笔记,在此分享出来,以供大家参考。
一、MySQL的安装与配置
具体的安装过程,建议参考我的这一篇文章:http://heylinux.com/archives/993.html
值得一提的是,我的安装过程都是源码包编译安装的,并且所有的配置与数据等都统一规划到了/opt/mysql目录中,因此在一台服务器上安装完成以后,可以将整个mysql目录打包,然后传到其它服务器上解包,便可立即使用。
二、MySQL主从复制
场景描述:
主数据库服务器:192.168.10.130,MySQL已经安装,并且无应用数据。
从数据库服务器:192.168.10.131,MySQL已经安装,并且无应用数据。
2.1 主服务器上进行的操作
启动mysql服务
/opt/mysql/init.d/mysql start
通过命令行登录管理MySQL服务器
/opt/mysql/bin/mysql -uroot -p'new-password'
授权给从数据库服务器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to 'rep1'@'192.168.10.131' identified by ‘password’;
查询主数据库状态
Mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000005 | 261 | | |
+------------------+----------+--------------+------------------+
记录下 FILE 及 Position 的值,在后面进行从服务器操作的时候需要用到。
2.2 配置从服务器
修改从服务器的配置文件/opt/mysql/etc/my.cnf
将 server-id = 1修改为 server-id = 10,并确保这个ID没有被别的MySQL服务所使用。
启动mysql服务
/opt/mysql/init.d/mysql start
通过命令行登录管理MySQL服务器
/opt/mysql/bin/mysql -uroot -p'new-password'
执行同步SQL语句
mysql> change master to
master_host=’192.168.10.130’,
master_user=’rep1’,
master_password=’password’,
master_log_file=’mysql-bin.000005’,
master_log_pos=261;
正确执行后启动Slave同步进程
mysql> start slave;
主从同步检查
mysql> show slave status\G
==============================================
**************** 1. row *******************
Slave_IO_State:
Master_Host: 192.168.10.130
Master_User: rep1
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000005
Read_Master_Log_Pos: 415
Relay_Log_File: localhost-relay-bin.000008
Relay_Log_Pos: 561
Relay_Master_Log_File: mysql-bin.000005
Slave_IO_Running: YES
Slave_SQL_Running: YES
Replicate_Do_DB:
……………省略若干……………
Master_Server_Id: 1
1 row in set (0.01 sec)
==============================================
其中Slave_IO_Running 与 Slave_SQL_Running 的值都必须为YES,才表明状态正常。
如果主服务器已经存在应用数据,则在进行主从复制时,需要做以下处理:
(1)主数据库进行锁表操作,不让数据再进行写入动作
mysql> FLUSH TABLES WITH READ LOCK;
(2)查看主数据库状态
mysql> show master status;
(3)记录下 FILE 及 Position 的值。
将主服务器的数据文件(整个/opt/mysql/data目录)复制到从服务器,建议通过tar归档压缩后再传到从服务器解压。
(4)取消主数据库锁定
mysql> UNLOCK TABLES;
2.3 验证主从复制效果
主服务器上的操作
在主服务器上创建数据库first_db
mysql> create database first_db;
Query Ok, 1 row affected (0.01 sec)
在主服务器上创建表first_tb
mysql> create table first_tb(id int(3),name char(10));
Query Ok, 1 row affected (0.00 sec)
在主服务器上的表first_tb中插入记录
mysql> insert into first_tb values (001,’myself’);
Query Ok, 1 row affected (0.00 sec)
在从服务器上查看
mysql> show databases;
=============================
+--------------------+
| Database |
+--------------------+
| information_schema |
| first_db |
| mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.01 sec)
=============================
数据库first_db已经自动生成
mysql> use first_db
Database chaged
mysql> show tables;
=============================
+--------------------+
| Tables_in_first_db |
+--------------------+
| first_tb |
+--------------------+
1 row in set (0.02 sec)
=============================
数据库表first_tb也已经自动创建
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
记录也已经存在
由此,整个MySQL主从复制的过程就完成了,接下来,我们进行MySQL读写分离的安装与配置。
三、MySQL读写分离
场景描述:
数据库Master主服务器:192.168.10.130
数据库Slave从服务器:192.168.10.131
MySQL-Proxy调度服务器:192.168.10.132
以下操作,均是在192.168.10.132即MySQL-Proxy调度服务器 上进行的。
3.1 MySQL的安装与配置
具体的安装过程与上文相同。
3.2 检查系统所需软件包
通过 rpm -qa | grep name 的方式验证以下软件包是否已全部安装。
gcc* gcc-c++* autoconf* automake* zlib* libxml* ncurses-devel* libmcrypt* libtool* flex* pkgconfig*
libevent* glib*
若缺少相关的软件包,可通过yum -y install方式在线安装,或直接从系统安装光盘中找到并通过rpm -ivh方式安装。
3.3 编译安装lua
MySQL-Proxy的读写分离主要是通过rw-splitting.lua脚本实现的,因此需要安装lua。
lua可通过以下方式获得
从http://www.lua.org/download.html下载源码包
从rpm.pbone.net搜索相关的rpm包
download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm
download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm
这里我们建议采用源码包进行安装
cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4
vi src/Makefile
在 CFLAGS= -O2 -Wall $(MYCFLAGS) 这一行记录里加上-fPIC,更改为 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 来避免编译过程中出现错误。
make linux
make install
cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig
3.4 安装配置MySQL-Proxy
MySQL-Proxy可通过以下网址获得:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/
推荐采用已经编译好的二进制版本,因为采用源码包进行编译时,最新版的MySQL-Proxy对automake,glib以及libevent的版本都有很高的要求,而这些软件包都是系统的基础套件,不建议强行进行更新。
并且这些已经编译好的二进制版本在解压后都在统一的目录内,因此建议选择以下版本:
32位RHEL5平台:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
64位RHEL5平台:
http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-64bit.tar.gz
测试平台为RHEL5 32位,因此选择32位的软件包
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
mv mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy
创建mysql-proxy服务管理脚本
mkdir /opt/mysql-proxy/init.d/
vim mysql-proxy
01#!/bin/sh
02#
03# mysql-proxy This script starts and stops the mysql-proxy daemon
04#
05# chkconfig: - 78 30
06# processname: mysql-proxy
07# description: mysql-proxy is a proxy daemon to mysql
08 
09# Source function library.
10. /etc/rc.d/init.d/functions
11 
12#PROXY_PATH=/usr/local/bin
13PROXY_PATH=/opt/mysql-proxy/bin
14 
15prog="mysql-proxy"
16 
17# Source networking configuration.
18. /etc/sysconfig/network
19 
20# Check that networking is up.
21[ ${NETWORKING} = "no" ] && exit 0
22 
23# Set default mysql-proxy configuration.
24#PROXY_OPTIONS="--daemon"
25PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306  --admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua"
26PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid
27 
28# Source mysql-proxy configuration.
29if [ -f /etc/sysconfig/mysql-proxy ]; then
30        . /etc/sysconfig/mysql-proxy
31fi
32 
33PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH
34 
35# By default it's all good
36RETVAL=0
37 
38# See how we were called.
39case "$1" in
40  start)
41        # Start daemon.
42        echo -n $"Starting $prog: "
43        $NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS --daemon --pid-file=$PROXY_PID --user=mysql --log-level=warning --log-file=/opt/mysql-proxy/log/mysql-proxy.log
44        RETVAL=$?
45        echo
46        if [ $RETVAL = 0 ]; then
47                touch /var/lock/subsys/mysql-proxy
48        fi
49       ;;
50  stop)
51        # Stop daemons.
52        echo -n $"Stopping $prog: "
53        killproc $prog
54        RETVAL=$?
55        echo
56        if [ $RETVAL = 0 ]; then
57                rm -f /var/lock/subsys/mysql-proxy
58                rm -f $PROXY_PID
59        fi
60       ;;
61  restart)
62        $0 stop
63        sleep 3
64        $0 start
65       ;;
66  condrestart)
67       [ -e /var/lock/subsys/mysql-proxy ] && $0 restart
68      ;;
69  status)
70        status mysql-proxy
71        RETVAL=$?
72       ;;
73  *)
74        echo "Usage: $0 {start|stop|restart|status|condrestart}"
75        RETVAL=1
76       ;;
77esac
78 
79exit $RETVAL
脚本参数详解:
==============================================
PROXY_PATH=/opt/mysql-proxy/bin //定义mysql-proxy服务二进制文件路径
PROXY_OPTIONS="--admin-username=root \ //定义内部管理服务器账号
--admin-password=password \ //定义内部管理服务器密码
--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定义后端只读从服务器地址
--proxy-backend-addresses=192.168.10.130:3306 \ //定义后端主服务器地址
--admin-lua-script=/opt/mysql-proxy/lib/mysql-proxy/lua/admin.lua \ //定义lua管理脚本路径
--proxy-lua-script=/opt/mysql-proxy/scripts/rw-splitting.lua" \ //定义lua读写分离脚本路径
PROXY_PID=/opt/mysql-proxy/run/mysql-proxy.pid //定义mysql-proxy PID文件路径
$NICELEVEL $PROXY_PATH/mysql-proxy $PROXY_OPTIONS \
--daemon \ //定义以守护进程模式启动
--keepalive \ //使进程在异常关闭后能够自动恢复
--pid-file=$PROXY_PID \ //定义mysql-proxy PID文件路径
--user=mysql \ //以mysql用户身份启动服务
--log-level=warning \ //定义log日志级别,由高到低分别有(error|warning|info|message|debug)
--log-file=/opt/mysql-proxy/log/mysql-proxy.log //定义log日志文件路径
==============================================
cp mysql-proxy /opt/mysql-proxy/init.d/
chmod +x /opt/mysql-proxy/init.d/mysql-proxy
mkdir /opt/mysql-proxy/run
mkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy/scripts
配置并使用rw-splitting.lua读写分离脚本
最新的脚本我们可以从最新的mysql-proxy源码包中获取
cd /opt/install
wget http://mysql.cdpa.nsysu.edu.tw/Downloads/MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
tar xzvf mysql-proxy-0.8.1.tar.gz
cd mysql-proxy-0.8.1
cp lib/rw-splitting.lua /opt/mysql-proxy/scripts
修改读写分离脚本rw-splitting.lua
修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离
vim /opt/mysql-proxy/scripts/rw-splitting.lua
=============================
-- connection pool
if not proxy.global.config.rwsplit then
proxy.global.config.rwsplit = {
min_idle_connections = 1, //默认为4
max_idle_connections = 1, //默认为8
is_debug = false
}
end
=============================
修改完成后,启动mysql-proxy
/opt/mysql-proxy/init.d/mysql-proxy start
3.5 测试读写分离效果
创建用于读写分离的数据库连接用户
登陆主数据库服务器192.168.10.130,通过命令行登录管理MySQL服务器
/opt/mysql/bin/mysql -uroot -p'new-password'
mysql> GRANT ALL ON *.* TO 'proxy1'@'192.168.10.132' IDENTIFIED BY 'password';
由于我们配置了主从复制功能,因此从数据库服务器192.168.10.131上已经同步了此操作。
为了清晰的看到读写分离的效果,需要暂时关闭MySQL主从复制功能
登陆从数据库服务器192.168.10.131,通过命令行登录管理MySQL服务器
/opt/mysql/bin/mysql -uroot -p'new-password'
关闭Slave同步进程
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
连接MySQL-Proxy
/opt/mysql/bin/mysql -uproxy1 -p'password' -P4040 -h192.168.10.132
登陆成功后,在first_db数据的first_tb表中插入两条记录
mysql> use first_db;
Database changed
mysql> insert into first_tb values (007,’first’);
Query Ok, 1 row affected (0.00 sec)
mysql> insert into first_tb values (110,’second’);
Query Ok, 1 row affected (0.00 sec)
查询记录
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
通过读操作并没有看到新记录
mysql> quit
退出MySQL-Proxy
下面,分别登陆到主从数据库服务器,对比记录信息
首先,检查主数据库服务器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
| 007 | first |
+------+------+
| 110 | second |
+------+------+
3 rows in set (0.00 sec)
=============================
两条新记录都已经存在
然后,检查从数据库服务器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
没有新记录存在
由此验证,我们已经实现了MySQL读写分离,目前所有的写操作都全部在Master主服务器上,用来避免数据的不同步;
另外,所有的读操作都分摊给了其它各个Slave从服务器上,用来分担数据库压力。
经验分享:
1.当MySQL主从复制在 show slave status\G 时出现Slave_IO_Running或Slave_SQL_Running 的值不为YES时,需要首先通过 stop slave 来停止从服务器,然后再执行一次本文 2.1与2.2 章节中的步骤即可恢复,但如果想尽可能的同步更多的数据,可以在Slave上将master_log_pos节点的值在之前同步失效的值的基础上增大一些,然后反复测试,直到同步OK。因为MySQL主从复制的原理其实就是从服务器读取主服务器的binlog,然后根据binlog的记录来更新数据库。
2.MySQL-Proxy的rw-splitting.lua脚本在网上有很多版本,但是最准确无误的版本仍然是源码包中所附带的lib/rw-splitting.lua脚本,如果有lua脚本编程基础的话,可以在这个脚本的基础上再进行优化;
3.MySQL-Proxy实际上非常不稳定,在高并发或有错误连接的情况下,进程很容易自动关闭,因此打开--keepalive参数让进程自动恢复是个比较好的办法,但还是不能从根本上解决问题,因此通常最稳妥的做法是在每个从服务器上安装一个MySQL-Proxy供自身使用,虽然比较低效但却能保证稳定性;
4.一主多从的架构并不是最好的架构,通常比较优的做法是通过程序代码和中间件等方面,来规划,比如设置对表数据的自增id值差异增长等方式来实现两个或多个主服务器,但一定要注意保证好这些主服务器数据的完整性,否则效果会比多个一主多从的架构还要差;
5.MySQL-Cluster 的稳定性也不是太好;
6.Amoeba for MySQL 是一款优秀的中间件软件,同样可以实现读写分离,负载均衡等功能,并且稳定性要大大超过MySQL-Proxy,建议大家用来替代MySQL-Proxy,甚至MySQL-Cluster。