Linux服务器开发之MySQL 集群方案

2021-08-05 代码与远方

加入收藏

案例：

100W 的客户端，每三分钟上传一次数据。数据库如何设计？能够查询所有记录？

官方 MySQL 集群方案

MySQL Replication

MySQL Replication 是 mysql 自带的功能，主从复制是通过重放 binlog 实现主库数据的

异步复制。即当主库执行了一条 sql 命令，那么在从库同样地执行一遍，从而达到主从复制

的效果。在这个过程中，master 对数据的写操作记入二进制日志文件中(binlog)，生成一

个 log dump 线程，用来给从库的 i/o 线程传 binlog。而从库的 i/o 线程去请求主库的

binlog，并将得到的 binlog 日志写到中继日志（relaylog）中，从库的 sql 线程，会读

取 relaylog 文件中的日志，并解析成具体操作，通过主从的操作一致，而达到最终数据一

致。

MySQL Replication 一主多从的结构，主要目的是实现数据的多点备份（没有故障自动转移和

负载均衡）。相比于单个的 mysql，一主多从下的优势如下：

1. 如果让后台读操作连接从数据库，让写操作连接主数据库，能起到读写分离的作用，这

个时候多个从数据库可以做负载均衡。

2. 可以在某个从数据库中暂时中断复制进程，来备份数据，从而不影响主数据的对外服务

（如果在 master 上执行 backup，需要让 master 处于 readonly 状态，这也意味着所有的

write 请求需要阻塞）。

就各个集群方案来说，其优势为：

1. 主从复制是 mysql 自带的，无需借助第三方。

2. 数据被删除，可以从 binlog 日志中恢复。

3. 配置较为简单方便。

其劣势为：

1. 从库要从 binlog 获取数据并重放，这肯定与主库写入数据存在时间延迟，因此从库的数

据总是要滞后主库。

2. 对主库与从库之间的网络延迟要求较高，若网络延迟太高，将加重上述的滞后，造成最

终数据的不一致。

3. 单一的主节点挂了，将不能对外提供写服务。

配置主机：

$ sudo vim /etc/mysql/my.cnf

添加 log-bin , server_id
修改 bind-address = 0.0.0.0
mysql > create user replication@'%' identified by '123456';
mysql > grant all privileges on *.* to 'replication'@'%' identified by '123456' with grant option;
mysql > show master status;

配置从机

mysql > change master to master_host='192.168.189.133', master_port=3306,
master_user='replication', master_password='123456', master_log_file='mysql-bin.000001',
master_log_pos=380;
mysql > start slave;
mysql> show slave statusG

问题 1

# mysql –u root -p
> create user ‘wangbojing’@’%’ identified by ‘123456’;
> grant all privileges on *.* to ‘wangbojing’@’%’ identified by
‘123456’ with grant option;
> SHOW DATABASES;
> CREATE DATABASE VIP_ORDER;
> CREATE TABLE TBL_USER (
> U_ID INT PRIMARY KEY NOT NULL AUTO_INCREMENT,
> U_NAME VARCHAR(64) NOT NULL,
> U_IMAGE LONGBLOB,
> U_GENDER VARCHAR(64)
> )

# 性能测试

# sysbench src/lua/oltp_read_write.lua --tables=3 --table_size=500000 -
-mysql-user=root --mysql-password=123456 --mysql-host=192.168.2.217
mysql-port=3306 --mysql-db=TBL_REPLICATION prepare

# sysbench src/lua/oltp_point_select.lua --tables=3 --table_size=500000 --mysql
user=root --mysql-password=zhaomeiping --mysql-host=192.168.2.217 --mysql-port=3306
--mysql-db=TBL_REPLICATION --threads=128 --time=100 --report-interval=5 run

MySQL Fabirc

MySQL Fabirc，是 mysql 官方提供的。这是在 MySQL Replication 的基础上，增加了故障检测

与转移，自动数据分片功能。不过依旧是一主多从的结构，MySQL Fabirc 只有一个主节点，

区别是当该主节点挂了以后，会从从节点中选择一个来当主节点。

就各个集群方案来说，其优势为：

1. mysql 官方提供的工具，无需第三方插件。

2. 数据被删除，可以从 binlog 日志中恢复。

3. 主节点挂了以后，能够自动从从节点中选择一个来当主节点，不影响持续对外提供写服

务。

其劣势为：

1. 从库要从 binlog 获取数据并重放，这肯定与主库写入数据存在时间延迟，因此从库的数

据总是要滞后主库。

2. 对主库与从库之间的网络延迟要求较高，若网络延迟太高，将加重上述的滞后，造成最

终数据的不一致。

3. 2014 年 5 月推出的产品，数据库资历较浅，应用案例不多，网上各种资料相对较少。

4. 事务及查询只支持在同一个分片内，事务中更新的数据不能跨分片，查询语句返回的数

据也不能跨分片。

5. 节点故障恢复 30 秒或更长（采用 InnoDB 存储引擎的都这样）。

MySQL Cluster

MySQL 集群（MySQL Cluster）也是 mysql 官方提供的。

MySQL Cluster 是多主多从结构的

就各个集群方案来说，其优势为：

mysql 官方提供的工具，无需第三方插件。

高可用性优秀，99.999%的可用性，可以自动切分数据，能跨节点冗余数据（其数据集并

不是存储某个特定的 MySQL 实例上，而是被分布在多个 Data Nodes 中，即一个 table 的

数据可能被分散在多个物理节点上，任何数据都会在多个 Data Nodes 上冗余备份。任何

一个数据变更操作，都将在一组 Data Nodes 上同步，以保证数据的一致性）。

可伸缩性优秀，能自动切分数据，方便数据库的水平拓展。

负载均衡优秀，可同时用于读操作、写操作都都密集的应用，也可以使用 SQL 和 NOSQL

接口访问数据。

多个主节点，没有单点故障的问题，节点故障恢复通常小于 1 秒。

其劣势为：

1. 架构模式和原理很复杂。

2. 只能使用存储引擎 NDB ，与平常使用的 InnoDB 有很多明显的差距。比如在事务（其

事务隔离级别只支持 Read Committed，即一个事务在提交前，查询不到在事务内所做的

修改），外键（虽然最新的 NDB 存储引擎已经支持外键，但性能有问题，因为外键所关

联的记录可能在别的分片节点），表现制上的不同，可能会导致日常开发出现意外。

3. 作为分布式的数据库系统，各个节点之间存在大量的数据通讯，比如所有访问都是需要

经过超过一个节点（至少有一个 SQL Node 和一个 NDB Node）才能完成，因此对节点之

间的内部互联网络带宽要求高。

4. Data Node 数据会被尽量放在内存中，对内存要求大，而且重启的时候，数据节点将数

据 load 到内存需要很长时间。

第三方集群方案

MMM

MMM（Master Replication Manager for MySQL）是双主多从结构，MMM 是在 MySQL Replication

的基础上，对其进行优化。这是 google 的开源项目，使用 Perl 语言来对 MySQL Replication

做扩展，提供一套支持双主故障切换和双主日常管理的脚本程序，主要用来监控 mysql 主主

复制并做失败转移。

注意：这里的双主节点，虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，

另一台备选主上提供部分读服务，以加速在主主切换时刻备选主的预热。

就各个集群方案来说，其优势为：

1. 自动的主主 Failover 切换，一般 3s 以内切换备机。

2. 多个从节点读的负载均衡。

其劣势为：

1. 无法完全保证数据的一致性。如主 1 挂了，MMM monitor 已经切换到主 2 上来了，而若

此时双主复制中，主 2 数据落后于主 1（即还未完全复制完毕），那么此时的主 2 已经成

为主节点，对外提供写服务，从而导致数据不一。

2. 由于是使用虚拟 IP 浮动技术，类似 Keepalived，故 RIP（真实 IP）要和 VIP（虚拟 IP）在

同一网段。如果是在不同网段也可以，需要用到虚拟路由技术。但是绝对要在同一个 IDC

机房，不可跨 IDC 机房组建集群。

MHA

MHA（Master High Availability）是多主多从结构，MHA 是在 MySQL Replication 的基础上，对

其进行优化。这是日本 DeNA 公司的 youshimaton 开发，主要提供更多的主节点，但是缺少

VIP（虚拟 IP），需要配合 keepalived 等一起使用。

要搭建 MHA，要求一个复制集群中必须最少有三台数据库服务器，一主二从，即一台充当

master，一台充当备用 master，另外一台充当从库。

就各个集群方案来说，其优势为：

1. 可以进行故障的自动检测和转移

2. 具备自动数据补偿能力，在主库异常崩溃时能够最大程度地保证数据的一致性。

其劣势为：

1. MHA 架构实现读写分离，最佳实践是在应用开发设计时提前规划读写分离事宜，再使用

时设置两个连接池，即读连接池与写连接池，也可以选择这种方案即引入 SQL Proxy。但

无论如何都需要改动代码；

2. 关于读负载均衡可以使用 F5、LVS、HAPROXY 或者 SQL Proxy 等工具，只要能实现负载均

衡、故障检查及备升级为主后的读写剥离功能即可，建议使用 LVS

Galera Cluster

Galera Cluster 是由 Codership 开发的 MySQL 多主结构集群，这些主节点互为其它节点的从节

点。不同于 MySQL 原生的主从异步复制，Galera 采用的是多主同步复制，并针对同步复制

过程中，会大概率出现的事务冲突和死锁进行优化，就是复制不基于官方 binlog 而是 Galera

复制插件，重写了 wsrep api。异步复制中，主库将数据更新传播给从库后立即提交事务，而

不论从库是否成功读取或重放数据变化。这种情况下，在主库事务提交后的短时间内，主从

库数据并不一致。同步复制时，主库的单个更新事务需要在所有从库上同步更新。换句话

说，当主库提交事务时，集群中所有节点的数据保持一致。

对于读操作，从每个节点读取到的数据都是相同的。对于写操作，当数据写入某一节点后，

集群会将其同步到其它节点。

就各个集群方案来说，其优势为：

1. 多主多活下，可对任一节点进行读写操作，就算某个节点挂了，也不影响其它的节点的

读写，都不需要做故障切换操作，也不会中断整个集群对外提供的服务。

2. 拓展性优秀，新增节点会自动拉取在线节点的数据（当有新节点加入时，集群会选择出

一个 Donor Node 为新节点提供数据），最终集群所有节点数据一致，而不需要手动备份

恢复。

其劣势为：

能做到数据的强一致性，毫无疑问，也是以牺牲性能为代价。