国外设计类网站有哪些,2022年十大网络流行语发布,网站侧边栏设计,wordpress .mo转自#xff1a; https://www.cnblogs.com/fengzheng/p/13401783.html 数据库层的几种模式
在系统架构中#xff0c;数据库层主要由如下几种模式#xff0c;分别是单点模式、主备模式、主从模式。 单点模式
单点模式是最简单的模式#xff0c;只有一台数据库服务器…转自 https://www.cnblogs.com/fengzheng/p/13401783.html 数据库层的几种模式
在系统架构中数据库层主要由如下几种模式分别是单点模式、主备模式、主从模式。 单点模式
单点模式是最简单的模式只有一台数据库服务器部署最简单。但是存在单点风险一旦这台服务器挂掉整个系统也就挂掉了。
主备模式
为了解决单点模式的风险主备模式产生。目前主备模式应该是各个线上服务系统的最低配置了比如你在各个云平台购买的数据库服务一般都会开启备份功能。一旦主节点出现问题还可以切换到备份节点不至于整个系统瘫痪。
主备又分为一主一备、一主多备。多个备份是为了保证更高的安全性万一主节点出现问题的时候碰巧备份节点也出问题呢。
当主节点出现问题的时候要切换到备份节点切换方式又分为手动切换和自动切换。手动切换具有一定的延时当主节点出现问题时只能等运维人员发现或者收到系统通知。
主从模式
主从配置一般都是和读写分离相结合主服务器负责写数据从服务器负责读数据并保证主服务器的数据及时同步到从服务器。
主从模式又分为一主一从、一主多从和多主多从越往后部署越复杂同时系统稳定性更高。主从模式可以更好的分担数据库压力将插入更新操作和查询操作分开提高系统整体性能。
本文的目的就是介绍一下简单的一主一从架构的配置和原理。
主从原理
主节点
1、当主节点上进行 insert、update、delete 操作时会按照时间先后顺序写入到 binlog 中 2、当从节点连接到主节点时主节点会创建一个叫做 binlog dump 的线程
3、一个主节点有多少个从节点就会创建多少个 binlog dump 线程
4、当主节点的 binlog 发生变化的时候也就是进行了更改操作binlog dump 线程就会通知从节点 (Push模式)并将相应的 binlog 内容发送给从节点
从节点
当开启主从同步的时候从节点会创建两个线程用来完成数据同步的工作。
I/O线程 此线程连接到主节点主节点上的 binlog dump 线程会将 binlog 的内容发送给此线程。此线程接收到 binlog 内容后再将内容写入到本地的 relay log。
SQL线程 该线程读取 I/O 线程写入的 relay log并且根据 relay log 的内容对从数据库做对应的操作。 主从配置一般都是和读写分离相结合主服务器负责写数据从服务器负责读数据并保证主服务器的数据及时同步到从服务器。
主服务器配置
开启远程连接
使用命令行或者客户端工具进入 MySQL执行命令
GRANT REPLICATION SLAVE ON *.* to root192.168.0.108 identified by Pssw0rd;
FLUSH PRIVILEGES;上面语句执行完成后在从服务器中使用客户端或者命令行测试是否生效。
mysql -h 192.168.0.101 -uroot -p启用 bin-log并设置 server-id
需要在 MySQL 配置文件中修改MySQL 配置文件默认位置在如下位置从上下到下优先级降低 /etc/my.cnf /etc/mysql/my.cnf /usr/local/etc/my.cnf ~/.my.cnf
配置内容如下
[mysqld]
log-binmysql-bin
server-id101其他参数
除了上面两个必要参数外还有其他的几个参数。
binlog_format
bin-log 日志的格式支持下面三种推荐使用 mixed 。 statement会将对数据库操作的sql语句写入到binlog中。 row会将每一条数据的变化写入到binlog中。 mixedstatement 与 row 的混合。MySQL 决定什么时候写 statement 格式什么时候写 row 格式。
binlog-do-db
配置要同步的数据库如果不配置默认为全部数据库。
binlog-do-dbdb1
binlog-do-dbdb2binlog-ignore-db
配置不需要同步的数据库。
binlog-ignore-dbdb3expire-logs-days
bin-log 日志保存天数保存天数越久占用空间越大。
然后重启 MySQL 服务
mysql.server restart使用下面的命令可以查看配置是否生效
show variables like log_bin;
show variables like server_id;使用下面的语句查看 master 状态。
show master status;从服务器配置
1、打开从服务器的配置文件在其中加上如下配置
server-id1082、重启 MySQL 服务。
mysql.server restart3、配置主从同步
change master to master_host192.168.0.101,master_userroot,master_passwordPssw0rd,master_log_filemysql-bin.000001 ,master_log_pos154;其中 master_host表示主服务器 IPmaster_user和master_password分别是主服务器的用户名和密码master_log_file和master_log_pos在主服务器中通过show master status语句可以查到。
4、开启同步进程。
start slave5、查看同步状态。
show slave status;可能碰到的问题 Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work. mysql 5.6 之后引入了uuid的概念各个复制主从结构中的 server_uuid 要保证不一样。由于我这台新 Mac 是用系统自带的「迁移助理」从老机器迁移过来的所以说所有的软件和配置都是一模一样的。
通过下面的语句可查看 server_uuid 的值 和 auto.cnf 的路径auto.cnf 中保存了 server_uuid 的值。
show variables like %server_uuid%;
show variables like %datadir%;我查到的从服务器上的 datadir 目录在 /usr/local/var/mysql修改目录下的 auto.cnf 文件中的 server-uuid 的值
修改 datadir 目录下的auto.cnf 文件中的 server-uuid 的值。
然后再重启服务查看同步状态就不会有这个问题了。
测试一下
同步配置完成后我在主服务器上创建一个数据库创建一张表然后新增、修改、删除数据查看从服务器上是否相应的同步修改。
正常情况下在主服务器上操作完成从服务器也马上会看到对应的数据。
主从状态查询
主服务状态
使用如下语句可查看主服务状态
show master status\G;使用 show processlist语句可查看线程状态可以看到第一个线程的 State 是 「Master has sent all binlog to slave; waiting for more updates」说明同步线程一直在运行中。
mysql show processlist\G;
*************************** 1. row ***************************Id: 20User: rootHost: 192.168.0.108:57815db: NULL
Command: Binlog DumpTime: 11702State: Master has sent all binlog to slave; waiting for more updatesInfo: NULL
*************************** 2. row ***************************Id: 21User: rootHost: localhostdb: NULL
Command: QueryTime: 0State: startingInfo: show processlist
2 rows in set (0.03 sec)ERROR:
No query specified从服务状态
通过 show slave status;可查看从服务状态从中可以看到主服务的信息以及 Slave_IO 和 Slave_SQL 线程的状态等。
mysql show slave status\G;
*************************** 1. row ***************************Slave_IO_State: Waiting for master to send eventMaster_Host: 192.168.0.101Master_User: rootMaster_Port: 3306Connect_Retry: 60Master_Log_File: mysql-bin.000001Read_Master_Log_Pos: 1393Relay_Log_File: 192-relay-bin.000005Relay_Log_Pos: 1284Relay_Master_Log_File: mysql-bin.000001Slave_IO_Running: YesSlave_SQL_Running: YesReplicate_Do_DB: Replicate_Ignore_DB: Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0Last_Error: Skip_Counter: 0Exec_Master_Log_Pos: 1393Relay_Log_Space: 1930Until_Condition: NoneUntil_Log_File: Until_Log_Pos: 0Master_SSL_Allowed: NoMaster_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: NoLast_IO_Errno: 0Last_IO_Error: Last_SQL_Errno: 0Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 101Master_UUID: 220919a2-9690-11e6-9c9b-9d406b577440Master_Info_File: /usr/local/var/mysql/master.infoSQL_Delay: 0SQL_Remaining_Delay: NULLSlave_SQL_Running_State: Slave has read all relay log; waiting for more updatesMaster_Retry_Count: 86400Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0Replicate_Rewrite_DB: Channel_Name: Master_TLS_Version:
1 row in set (0.00 sec)ERROR:
No query specified
也可以通过 show processlist 查看从服务的线程情况。
mysql show processlist\G;*************************** 1. row ***************************Id: 1User: system userHost: db: NULL
Command: ConnectTime: 84003State: Slave has read all relay log; waiting for more updatesInfo: NULL
*************************** 2. row ***************************Id: 2User: system userHost: db: NULL
Command: ConnectTime: 123734State: Waiting for master to send eventInfo: NULL
*************************** 3. row ***************************Id: 9User: rootHost: localhostdb: NULL
Command: QueryTime: 0State: startingInfo: show processlist
3 rows in set (0.00 sec)ERROR:
No query specified从库挂机了怎么恢复同步
哪儿有什么岁月静好只不过是有人帮你顶住了锅而已。服务宕掉通常都在不经意间一旦从库服务挂掉了怎么办。
在主服务的 binlog dump 线程将指定的 binlog 信息发给从服务时除了日志内容还包括本次发送内容在主服务端的 bin-log 日志文件名称以及位置信息。
从服务的 I/O 线程接收到信息后将日志内容写入realy-log 文件(mysql-relay-bin.xxxxxx)的末端并将读取到的主服务端的 bin-log 的文件名和位置记录到 master-info 中通过 show slave status 中的 Master_Info_File 字段可以看到 master.info 保存的位置以便下一次读取时能告诉主服务从哪里开始同步。
从服务的 SQL 线程检测到 realy-log 新增了内容后解析日志文件生成对应的 sql 语句并应用这些 sql 到数据库保证主从数据一致性。
所以及时从库挂掉了因为有 master.info 记录了上一次同步的位置只要同步服务再次启动那就可以从上次同步的位置继续增量同步了。
那话说主库宕了怎么办这就是另一个悲伤的故事了就没有从库挂掉这么简单了如果马上启动那就是最好的解决办法。如果由于硬件或者比较棘手的问题导致没办法立即重启那就要选一个从库升级为主库选择的标准是数据最接近主库的也就是最后一次同步时间最晚的。如果有可能比如主服务只是数据库无法启动但机器还在还要到主服务上拉取最新的 bin-log 进行同步。最后进行一系列设置将选中的从库变更为主库配置。就不展开说了因为再展开就露馅儿了我也不会
ShardingSphere-JDBC 实现读写分离
主从分离之后就要做系统的读写分离了写操作走主节点读操作走从节点。这就需要数据库中间件来帮忙了现在比较流行的中间件有Atlas、Cobar、Mycat、Sharding-Sphere具体选择哪个或者自研要看各个公司的标准了。
Sharding-Sphere 包括 ShardingSphere-JDBC 和 ShardingSphere-Proxy。
ShardingSphere-JDBC 定位为轻量级 Java 框架在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库以 jar 包形式提供服务无需额外部署和依赖可理解为增强版的 JDBC 驱动完全兼容 JDBC 和各种 ORM 框架。
适用于任何基于 JDBC 的 ORM 框架如JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。支持任何第三方的数据库连接池如DBCP, C3P0, BoneCP, Druid, HikariCP 等。支持任意实现 JDBC 规范的数据库目前支持 MySQLOracleSQLServerPostgreSQL 以及任何遵循 SQL92 标准的数据库。ShardingSphere 当前版本是 4.x官网地址https://shardingsphere.apache.org/index_zh.html
接下来简单演示一下 ShardingSphere-JDBC Spring Boot MyBatis 实现简单的读写分离。g Boot 为2.3.2目前最新版本并输入项目相关的信息。 2、引入 Spring Boot 相关依赖包包括 spring-boot-starter-web、mybatis-spring-boot-starter、mysql-connector-java、lombok。 3、最后将创建完成后的目录结构直接下载下来导入到 IDEA然后 maven 更新依赖包即可。
4、引入 ShardingSphere-JDBC 专门针对 Spring Boot 的依赖包。
dependencygroupIdorg.apache.shardingsphere/groupIdartifactIdsharding-jdbc-spring-boot-starter/artifactIdversion4.1.1/version
/dependency5、配置主从数据库保证读请求到从节点写请求到主节点使用的连接池是 Spirng Boot 2.x 默认的 hikari。注意如果用的是其他连接池比如 Druid 的话jdbcUrl 属性要改成 url 。
spring:shardingsphere:datasource:master:type: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.DriverjdbcUrl: jdbc:mysql://localhost:3306/master-slave?useUnicodetruecharacterEncodingutf8tinyInt1isBitfalseuseSSLfalseserverTimezoneGMTusername: rootpassword: passwordslave0:type: com.zaxxer.hikari.HikariDataSourcedriverClassName: com.mysql.cj.jdbc.DriverjdbcUrl: jdbc:mysql://192.168.0.108:3306/master-slave?useUnicodetruecharacterEncodingutf8tinyInt1isBitfalseuseSSLfalseserverTimezoneGMTusername: rootpassword: passwordnames: master,slave0props:sql.show: truemasterslave:load-balance-algorithm-type: round_robinsharding:master-slave-rules:master:master-data-source-name: masterslave-data-source-names: slave0如果有多个从节点可以继续在 spring.shardingsphere.datasource 下添加 slave1、slave2 等。
最后要配置上 master-slave-rules主从规则才能保证实现读写分离如果不加这个配置就会采用 round_robin 路由算法将主从节点无差别对待。写请求可能会落到从节点导致无法像主节点同步。
6、配置 MyBatis 相关的 mapper.xml 、dao 接口、实体等不做过多介绍。
7、添加 Service、Controller添加一个查询方法对应数据库 select。添加一个新增方法对应数据库 insert 。
RestController
RequestMapping(user)
public class UserController {Autowiredprivate IUserService userService;GetMapping(value list)public Object list() {ListUser users userService.list();return users;}PostMapping(value add)public Object add(RequestBody UserDto userDto) {User user new User();BeanUtils.copyProperties(userDto, user);return userService.addUser(user);}
}8、最后通过分别请求 list 接口和 add 接口然后通过日志可以看到select 会路由到从节点insert 会路由到主节点。 源码在 github 上有需要的同学可以到 github 上获取。
仓库地址https://github.com/huzhicheng/play 其中的 sharding-jdbc-write-read-split 项目是本文的示例源码。
总结
主从配置读写分离可以很大程度上保证系统高可用性和整体性能而且也是互联网应用的基础入门配置。MySQL 可以利用 bin-log 实现主从同步master 节点采用推方式向 slave 节点推送写入操作形成的日志slave 节点会将日志先写到本地的 relay-log 中然后再写入数据库中此过程中还会更新 master.info 文件记录本地同步的位置以便下次增量同步。
数据库层配置完成最后要在应用中进行读写配置具体的配置可以公司内部自行开发或者采用比较稳定的开源框架本文采用的是 ShardingSphere-JDBC只是个代理客户端其原理就是分析 SQL 语句判断是读还是写从而分发到不同的节点。
如果需要更复杂的操作比如跨库 join 等那就需要代理中间件了比如 ShardingSphere-Proxy 等。
