使得从库和主库的数据保持同步
主从复制是指将主数据库的DDL和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行(也叫重做)，从而使得从库和主库的数据保持同步。

MySQL支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制。

MySQL主从复制的优点主要包含以下三个方面:
主库出现问题，可以快速切换到从库提供服务。
实现读写分离，降低主库的访问压力。(主库执行DDL、DML，从库执行DQL)
可以在从库中执行备份，以避免备份期间影响主库服务。(从库加全局锁之后还是可以读)

从上图来看，主从复制分成三步:
1.Master主库在事务提交时，会把数据变更记录在二进制日志文件Binlog中。
2.从库读取主库的二进制日志文件Binlog ，写入到从库的中继日志Relay Log。3.slave重做中继日志中的事件，将改变反映它自己的数据

学习建议使用直接关闭防火墙，生产中使用开放端口

systemctl stop firewall 关闭防火墙
systemctl disable firewall 关闭防火墙开机自启

准备好两台服务器之后，在上述的两台服务器中分别安装好MySQL，并完成基础的初始化准备工作。

查看mysql服务运行是否正常

修改配置文件 /etc/my.cnf

#mysql服务ID，保证整个集群环境中唯一，取值范围:1-2^32 - 1，默认为1
server-id=1

#是否只读, 1代表只读,0代表读写
read-only=0

#忽略的数据,指不需要同步的数据库
#binlog-ignore-db=mysql
#指定同步的数据库
#binlog-do-db=db01

不配置下两项代表都同步

systemctl restart mysqld

#创建itcast用户，并设置密码，该用户可在任意主机连接该MySQL服务
CREATE USER 'itcast'@'%' IDENTIFIED WITH mysql_native_password BY 'Root@123456';
#%代表可以在任意主机登录到主服务器
#为'itcast'@'%'用户分配主从复制权限
GRANT REPLICATION SLAVE ON *.* TO 'itcast'@'%'

show master status;

字段含义说明:
file:从哪个日志文件开始推送日志文件
position:从哪个位置开始推送日志
binlog_ignore_db:指定不需要同步的数据库

/etc/my.cnf

#mysql服务ID，保证整个集群环境中唯一，取值范围: 1 - 2^32 - 1，和主库不一样即可
server-id=2
#是否只读,1代表只读(普通用户只读，超级管理员还是可以读写。super-read-only=1表示超级管理员也是只读),代表读写
read-only=1

systemctl restart mysqld;

CHANGE REPLICATON SOURCE TO SOURCE_HOST='xxxx',SOURCE_USER='xxx',SOURCE_PASSWORD='xxx',SOURCE_LOG_FILE='xxx',SOURCE_LOG_POS=xxx;

start replica;
start slave;

show replica status;
show slave status;

主要看标亮两个字段，代表前面说的两个线程

主库操作

从库操作

随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行数据存储，存在以下性能瓶颈:
IO瓶颈:热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。
CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的

分库分表是拆分力度的问题
水平垂直是拆分维度的问题

垂直分库:以表为依据，根据业务将不同表拆分到不同库中
特点:
1.每个库的表结构都不一样。
2.每个库的数据也不一样
3.所有库的并集是全量数据。

垂直分表:以字段为依据，根据字段属性将不同字段拆分到不同表中
特点:
1.每个表的结构都不一样。
2.每个表的数据也不一样，一般通过一列(主键/外键)关联。
3.所有表的并集是全量数据

水平分库:以字段为依据，按照一定策略，将一个库的数据拆分到多个库中
特点:
1.每个库的表结构都一样。
2.每个库的数据都不一样。
3.所有库的并集是全量数据

水平分表:以字段为依据，按照一定策略，将一表的数据拆分到多个表中。
特点:
1.每个表的表结构都一样。
2.每个表的数据都不一样。
3.所有表的并集是全量数据

如何分库分表，如何访问对应的数据库

shardingJDBC:基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持java语言，性能较高。

MyCat: 数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者。

Mycat是开源的、活跃的、基于Java语言编写的MySQL数据库中间件。可以像使用mysql一样来使用mycat，对于开发人员来说根本感觉不到mycat的存在

优势:
性能可靠稳定
强大的技术团队
体系完善
社区活跃

现在用得多的还是1.6几版本，2.0用得少

Mycat是采用java语言开发的开源的数据库中间件，支持Windows和Linux运行环境，下面介绍MyCat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。
MySQL
JDK
Mycat

systemctl status mysqld

bin:存放可执行文件，用于启动停止mycat
conf:存放mycat的配置文件
lib:存放mycat的项目依赖包 (jar)
logs:存放mycat的日志文件
catlet:多表连查涉及到的目录

lib目录下的mysql驱动包版本太低，安装的版本是8.几，对其进行替换

逻辑结构部分不存储数据，物理结构部分对应mysql服务器

它这里要用水平分表

先关闭防火墙(或者允许端口)。每台节点主机创建数据库

schema.xml

删除多余配置，修改后 

balance负载均衡暂时默认的，dbdriver两个值native(mysql8.几暂时还不支持) jdbc
writeHost:url里有时区字符集相关信息

配置mycat的用户及用户的权限信息

切换到Mycat的安装目录，执行如下指令，启动Mycat:
#启动
bin/mycat start
#停止
bin/mycat stop

Mycat启动之后，占用端口号8066。

表明mycat运行正常

通过如下指令，就可以连接并登陆MyCat。
mysql -h 192.168.200.210 -P 8066 -uroot -p 123456

然后就可以在MvCat中来创建表，并往表结构中插入数据，查看数据在MySQL中的分布情况。

但这时tb_order这张表这时逻辑存在，因为还未创建

因为是水平分表，所以三个数据库里的表结构一样

经查看数据只在其中一个节点上

分片规则决定数据如何分放rule,然后在rule.xml里存在各种规则。然后具体的分片规则又与分片函数有关比如这里的range-long，然后range-long由于另一个文件有关联

这里表明id为0-5000000存放到0主机节点

15000000最大只能存储这么多条，下面报错，此时只能加数据节点

配置文件已经学了
schema.xml
server.xml
rule.xml

schema.xml作为MyCat中最重要的配置文件之一,涵盖了MyCat的逻辑库、逻辑表、分片规则、分片节点及数据源的配置

主要包含以下三组标签:
schema标签
datanode标签
datahost标签

schema标签用于定义MyCat实例中的逻辑库，一个MyCat实例中,可以有多个逻辑库，可以通过schema标签来划分不同的逻辑库。
MyCat中的逻辑库的概念，等同于MySOL中的database概念，需要操作某个逻辑库下的表时,也需要切换逻辑库(use xxx)。

mycat中区分大小写

核心属性:
name:指定自定义的逻辑库库名
checkSQLschema:在SQL语句操作时指定了数据库名称，执行时是香自动去除; true，自动去除(可以不先use)，fase，不自动去除(得先use才行)
sqlMaxLimit:指定查询多少条记录，因为使用mycat表示数据量比较大，全部查耗性能

table标签定义了MyCat中逻辑库schema下的逻辑表，所有需要拆分的表都需要在table标签中定义。

核心属性:
name:定义逻辑表表名，在逻辑库下唯一
dataNode:定义逻辑表所属的dataNode,该属性需要与dataNode标签中name对应; 多个dataNode逗号分隔rule:分片规则的名字，分片规则名字是在rule.xml中定义的
primaryKey:逻辑表对应真实表的主键
type:逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表，全局表，配置为global

dataNode标签中定义了MyCat中的数据节点,也就是我们通常说的数据分片。一个dataNode标签就是一个独立的数据分片。

核心属性:
namne: 定义数据节点名称
dataHost: 数据库实例主机名称，引用自dataHost标签中name属性
database: 定义分片所属数据库

该标签在MyCat逻辑库中作为底层标签存在,直接定义了具体的数据库实例、读写分离、心跳语句。

核心属性:
name:唯一标识，供上层标签使用
maxCon/minCon: 最大连接数/最小连接数 
balance:负载均街策略，取值0,1,2,3(后面读写分离时还会介绍) 
writeType:写操作分发方式(0: 写操作转发到第一个writeHost,第一个挂了，切换到第二个; 1: 写作随机分发到配置的writeHost) 
dbDriver: 数据库驱动，支持native、jdbc

rule.xml中定义所有拆分表的规则,在使用过程中可以灵活的使用分片算法,或者对同一个分片算法使用不同的参数,它让分片过程可配置化。主要包含两类标签:tableRule、Function:

rule子标签下涉及到columns分片依据哪个字段，algorithm涉及到的分片函数

分片函数下面的子标签class表示涉及到的分片类，property表示属性，有时也会向上面存在外部文件中

server.xml配置文件包含了MyCat的系统配置信息，主要有两个重要的标签:system、user。

对应的系统配置项及其含义，参考资料。

如上面是上面的注释情况表示可以对指定逻辑库中所有表进行任何操作。上面对逻辑库和逻辑表都进行具体权限设置，则就近原则

增查修改都可以

删除报错

在业务系统中,涉及以下表结构,但是由于用户与订单每天都会产生大量的数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表进行拆分,原有的数据库表如下

由于有四类表，但这里只有三个主机节点，用户表中的地址表和省市区和关联所以放到一起

先在每个节点主句上创建shopping数据库

伏笔这里把user用户配置错了

上面的伏笔

在mycat的命令行中，通过source指令导入表结构，以及对应的数据，查看数据分布情况。
source /root/shopping-table.sql
source /root/shopping-insert.gq

mycat中间件节点执行上面的sql脚本后，会发现表落到了各自的主机节点。而逻辑库是在主机节点一个一个创建的

插入数据

查询用户的收件人及收件人地址信息(包含省、市、区)。

首先在对应mysql服务器里查是一定可以的，因为涉及到的表都在一个服务器

查询每一笔订单及订单的收件地址信息(包含省、市、区)

首先在其中一个主机节点执行，结果不成功

报错，因为在路由时第二个主机节点没有省市区相关表

对于省、市、区/县表tb_areas_provinces,tb_areas_city,tb_areas_region，是属于数据字典表，在多个业务模块中都可能会遇到，可以将其设置为全局表，利于业务操作。

数据少，数据不变，多个业务中都会用到

配置修改后，停止mycat服务，删除每个主机节点上的所有表

然后启动mycat服务，重新登录mycat

逻辑表存在

然后执行两个sql脚本

所有表数据发生改变

在业务系统中,有一张表(日志表,,业务系统每天都会产生大量的日志数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表进行拆分。

在三个mysql服务器中创建数据库itcast

mod-long

3表示对id取模

在mycat的命令行中，执行如下SQL创建表、并插入数据，查看数据分布情况

创建实际的表

最后数据是按id对3取模分布，0,1,2分别对应1,2,3节点

根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片。

配置范围如上图

根据指定的字段值与节点数量进行求模运算，根据运算结果，来决定该数据属于哪一个分片。

前两种适用于数值字段。这个适用于字符串字段

所谓一致性哈希， 相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来数据的分区位置。

它这里是uuid

一样的先关闭mycat服务，再重新登录mycat

创建实际表

插入数据

通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点让,本规则适用于按照省份、性别、状态拆分数据等业务。

这里的sharding-by-intfile-enumstatus是对sharding-by-intfile的复制，是为了解决可能其它逻辑表也要用这个规则，且字段用的不一样

同理下面引用hash-int function也可以复制一份

使用自己复制的

前面步骤就不说了

插入的数据的status值为不是默认值

运行阶段由应用自主决定路由到那个分片，直接根据字符子串(必须是数字)计算分片号

rule.xml中默认没有这个funciton，需要复制进去。因此tablerule也需要添加

略

该算法类似于十进制的求模运算，但是为二进制的操作，例如，取id的二进制低10位与 1111111111进行位&运算。结果值范围为0-2^10-1=1023

最后一条超过1023，位于运算最后落在第一个分片

截取字符串中的指定位置的子字符串,进行hash算法(也是要与1111111111进行位&运算)，算出分片

也是需要自己复制一份tablerule和funcion

略

比如按照上面红色字体配置则会报错

也需要复制tablerule和function

先关闭mycat服务，重新登录，创建实际表，插入数据

31号是下一个周期，出现在第一个节点

例如4月在第一个节点

上面配置为1月-12月时报错

路由时会判断分片的字段

查询时涉及到分片字段，则路由到相应节点，没有则所有。

结果只涉及合并

结果设计合并，排序

Mycat默认开通2个端口，可以在server.xml中进行修改。
8066 数据访问端口，即进行 DML和 DDL操作。
9066 数据库管理端口，即 mycat服务管理控制功能，用于管理mycat的整个集群状态

mysql -h 192.168.200.210 -p 9066 -uroot -p123456

有了这个指令，修改配置文件后，不用像之前关闭和重新启动mycat

Mycat-web(Mycat-eye)是对mycat-server提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接对Mycat、Mysql监控，监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘。
Mycat-eye运行过程中需要依赖zookeeper，因此需要先安装zookeeper。

mycat默认使用的是本机2181端口的zookeeper，刚好不用修改

读写分离,简单地说是把对数据库的读和写操作分开,以对应不同的数据库服务器。主数据库提供写操作，从数据库提供读操作，这样能有效地减轻单台数据库的压力。
通过MyCat即可轻易实现上述功能，不仅可以支持MySQL，也可以支持0racle和SQLServer。

这种直接访问mysql的方式麻烦

需要根据业务去访问主或者从 DML/DDL

通过中间件mycat

通过mycat的两个组件readhost,writehost实现

前面讲主从复制时已经搭建了

MyCat控制后台数据库的读写分离和负载均衡由schema.xml文件datahost标签的balance属性控制。

这里有点不一样是直接在逻辑库上配置datanode,在逻辑表没有配置的情况下，加载数据节点对应数据库里的表

一主一从情况下1,3一样的

这里有个困惑点就是实际的数据库itcast之前涉及到了水平分表，这里又用来读写分离

tb_user是之前已经存在了的表

验证读

在从节点把从库数据更改，然后在mycat查询

验证写直接在mycat里插入数据，可以了，因为只有主节点才可以同步数据到从节点

问题:主节点Master宕机之后，业务系统就只能够读，而不能写入数据了

一个主机 Master1用于处理所有写请求，它的从机 slave1和另一台主机 Master2还有它的从机 slave2 负贵所有读请求。当 Master1主机宕机后，Master2主机负责写请求，Master1、Master2互为备机。架构图如下:

最后一项的意思是这个主节点作为从节点时有更新操作时是否另一个主节点同步

在211中创建db01数据库，在213,212,214中都能同步

建表，插入数据一样的

MyCat控制后台数据库的读写分商和负载均衡由schema.xml文件datahost标签的balance属性控制，通过writeType及switchType来完成失败自动切换的。

验证读

把从节点s1,s2的某条数据修改了，然后用mycat去查询这条数据，会发现结果有时来自s1,s2,m2

验证写

写入时会从m1写

上面的特性与datahost里writehost,readhost的顺序有关，m2在下面所以写时默认不是它，度时会涉及到它。
m1挂了时，m2去写

m1挂了，读时s1,s2,m2都会涉及

写时会将数据插入m2,s2