业务架构 应用架构 技术架构_业务架构和系统架构

1. mysql 架构

1.1 简化版架构

客户端+ 核心服务 + 存储引擎

⬇︎ ⬆︎（客户端）⬇︎⬆︎  

=====【连接/线程处理】====}
    ⬇︎            ⬇︎      
【查询缓存】 ⬅︎ 【解析器】     } 【核心服务】
                  ⬇︎      
========【优化器】=======}
          ⬇︎⬆︎
=======【存储引擎】=======

1.2 详细版架构

MySql 逻辑架构图

|--------------------------------------------|
|                   客户端                   |
| 「Connectors: PHP、JDBC、Python、navicat」 |
|--------------------------------------------|
          ⬇︎         ⬆︎
|============Mysql 服务端=================================================================|
|-----------------------------|
|      Connection Pool      |
|-----------------------------|

| -------------------|   | ------------ || ---------- | |----------- | | ----------- |
|                    |   | 【SQL 接口】  || 【解析器】   | |【优化器】    | |【查询缓存】 |
|                    |   | ------------ || ---------- | |----------- | | ----------- |
| 系统管理和控制工具   |   
|                    |   |------------------------------|
|                    |   |      【插件式存储引擎】      |
|                    |   | MyISAM、InnoDB、Archive...」 |
| -------------------|   |------------------------------|

|-----------------------------------------------------------------------------------------|
|                  【文件系统】                          【文件 && 日志】                 |
| 「NTFS、ufs、ext2/3、NFS、SAN、NAS」  「重做日志, 回滚日志, 数据, 索引, 二进制日志...」 |
|-----------------------------------------------------------------------------------------|
|=========================================================================================|

1).最上层:最上层是一些客户端和连接服务，包含本地的 socket 通信和大多数基于客户端/服务端工具实现的类似于 tcp/ip 的通信，主要完成一些类似于连接处理、 授权认证及相关的安全方案，在该层上引用了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于 ssl 的安全链接。服务 器也会为安全接入的每个客户端验证它所具有的操作权限。

2).第二层: 第二层架构主要完成大多数的核心服务功能。如 sql 接口，并完成缓存的查询。sql 的分析和优化以及部分内置函数的执行。所有跨存储引擎的功能也 在这一层实现，如过程，函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定查询表的顺序，是否利用索引等。 最后生成相应的执行操作。如 select 语句，服务器还会查询内部的缓存。如果缓存空间足够大，这样就解决大量读操作的环境中能够很好的提升系统的性能。

3).存储引擎层: 存储引擎真正的负责 MySQL 中数据的存储和提取，服务器通过 API 与存储引擎进行通信，不同的存储引擎具有的功能不同，这样我们可以根据自己的实际需进行选取。

4).数据存储层: 主要是将数据存储在运行于裸设备的文件系统之上，并完成于存储引擎的交互。

具体内容:

• 客户端：支持不同语言与SQL交互。
• 系统管理和控制工具：配置、备份、主从、集群等
• Connection Pool：连接池，管理缓冲用户连接，线程处理所需要的缓存。
• SQL 接口：接受用户的SQL命令，返回用户查询结果，比如 select from 就是调用 sql interface
• 解析器：解释器 ,SQL命令传递到解释器的时候会被解释器验证和解析，解释器由Lex和YACC实现(一个很长的脚本)，主要功能，将SQL语句分解成数据结构， 并将这个结构传递到后续步骤，以后的SQL语句的传递和处理都是基于这个结构，如果在分解构成中遇到错误，说明这个sql语句是不合理的
• 优化器：查询优化器，SQL语句在查询之前会使用查询优化器对查询进行优化，他使用的是“选取-投影-连接”进行查询，用一个例子就可以理解:select uid,name from user where gender =1;这个 select 查询先根据where语句进行选取，而不是先将表全部查询出来以后再进行gender过滤，这个 select 查询先根据uid和name进行属性投影，而不是将属性全部取出以后再进行过滤，将这2个查询条件连接起来生成最终查询结果。
• Cache 和 Buffer 查询缓存：这个查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据，这个缓存机制由一系列小缓存组成，比如表缓存，记录缓存，key缓 存，权限缓存。查询缓存在当前 8.0 的版本中已经把大部分缓存属性去除，考虑产生的问题比产生的问题多，并将在将来的MySQL发行版中全部删除。

关于 mysql 8.0 对将删除查询缓存功能的说明

• 存储引擎：存储引擎，存储引擎是MySql和文件打交道的具体子系统，MySQL的存储引擎是插件式的，它根据MySql AB公司提供的文件访问层的一个抽象接口来定 制一种文件访问机制(这个访问机制就叫做存储引擎)，一个库中不同表使用不同的存储引擎也是允许的。

2. mysql各个逻辑块简介

2.1 初始化模块

初始化模块就是在数据库启动的时候，对整个数据库做的一些初始化操作，例如:各种系统环境变量的初始化，各种缓存，存储引擎初始化设置等。

2.2 核心 API

MySQL数据库核心API主要实现了数据库底层操作的优化功能，其中主要包括IO操作、格式化输出、高性能存储数据结果算法的优化，字符串的处理，其中最重
要的是内存管理。

2.3 网络交互模块

MySQL 底层网络交互的模块抽象出接口，对外提供可以接收和发送数据的 API 接口，对内其他模块需要交互的时候，同样可以通过 API 接口调用。

2.4 服务器客户端交互协议模块

mysql服务器采用C/S的形式访问数据库，数据连接使用MySQL C/S交互协议模块，实现了客户端与服务器端交互过程中所需要的一些独特的协议，这些协议都是 建立在现有的网络协议之上。

2.5 用户模块

用户模块主要功能是用于控制用户登录连接的权限和用户的授权管理

2.6 访问控制器模块

访问控制模块主要用于监控用户的每一个操作。访问控制模块实现的功能就是根据用户模块中不同的用户授权，以及根据其数据库的各种约束来控制用户对数据 的访问。用户模块和访问控制模块结合起来，就组成了MySQL数据库的权限管理功能。

2.7 连接管理，连接线程与线程管理

连接管理模块负责监听MySQLServer的各种请求，根据不同的请求，然后转发到线程管理模块，每个客户请求都会被数据库自动分配一个独立的线程为其单独服 务，而连接线程的主要工作就是负责MySQL Server与客户端通信，线程管理模块负责管理这些生成的线程。

-- 查询当前连接: 后台连接、查询连接、睡眠连接
show processlist;
-- 查询最大连接
show variables like "%max_connections%";

2.8 转发模块

客户端连接MySQL之后会发送一些查询语句， 在MySQL Server里面，连接线程接收到客户端的一个请求后，会直接将查询转发到各个对应的处理模块。转发模 块主要就是根据查询语句语法分析，然后转发给不同的模块处理。

2.9 缓存模块

查询缓存模块主要功能是将客户端查询的请求返回的结果集到缓存中，与查询的一个HASH值对应。在查询的基表发生任何数据变化后，MySQL会自动将其查询 的缓存失效。在读写比例非常高的应用系统中，查询缓存对性能的提高是非常显著的。

关于 mysql 8.0 对将删除查询缓存功能的说明

2.10 解析器模块

如果没有命中缓存，解析器通过「词法分析器」将会对 sql 开始解析，会把 sql 解析成令牌（即 token：把 sql 每一个关键字和数据切割为有意义的标识）, 然后通过「语法分析器」将得到的令牌根据 sql 中不同的关键字并利用相应的转换方法转换成对应的解析数据结构（即：解析树，或者叫抽象语法数）。主要是 where 条件。

sql： select * from student where id < 10 and status = 1;

词法分析得到结果为：select, *, from, student, where, id, <, 10, and, status, =, 1

语法分析得到的结果为：实际上就是得到了一个二叉树，利用前序遍历即可得到完整的 where 条件

                        where
                    /
                  and
              /           
            <               = 
          /             /        
        id      10     status       1

2.11 优化器模块

这个模块主要是将客户端发送的查询请求，在之前算法的基础上分析，计算出一个最优的查询策略（统计表信息，取消无效条件「where 中的 1 = 1。不过 1 = 1 的作用是方便业务端拼接 sql」，判断是否利用索引），优化之后会提高查询访问的速度，最后根据其最优策略返回查询语句。

2.12 表变更管理模块

表变更管理模块主要负责完成DML和DDL的查询，例如，insert, update, delete, create table, alter table等语句的处理。

2.13 表维护模块

表维护模块主要用于检测表的状态，分析、优化表结构，以及修复表。

2.14 系统状态管理模块

在客户端请求系统状态的时候，系统状态模块主要负责将各种状态的数据返回给用户。最常用的一些查询状态的命令包括show status, show variables等，都是通 过这个模块负责返回的。

2.15 表管理器模块

表管理器主要就是维护系统生成的表文件。例如，MyISAM 存储引擎类型表生成的是 frm 文件、MYD 文件以及 MYI 文件，表管理器的工作就是维护这些文件，将各个表结构的信息缓存起来，另外该模块还管理表级别的锁。

2.16 日志记录模块

日志记录模块主要负责整个数据库逻辑层的日志文件，其中包含重做日志，回滚日志，错误日志，二进制日志，以及慢查询日志等。

2.17 复制模块

复制模块分为Master 模块和Slave 模块两部分。Master 模块主要负责复制环境中读取Master端的binary日志，以及Slave端的I/O线程交互等工作。Slave 模块主要 有两个线程，一个负责从Master请求和接收binay日志，并写入本地I/O线程:另一个从relay log读取日志事件，然后解析成可以在Save端执行的命令，然后交给 Slave端的SOL线程

2.18 存储引擎接口模块

MySQL实现了其数据库底层存储引学的插件式管理，将各种数据处理高度抽象化。

3. mysql 的执行流程

3.1.1 启动

1. 通过命令net start mysql(windows) / service mysql start(linux)启动MySQL服务
2. 调用初始模块;初始化模块就是在数据库启动的时候，对整个数据库做的一些初始化操作，比如各种系统环境变量的初始化，各种缓存，存储引擎初始化设
   置等。

3.1.2 连接

1. 用户发送一条SQL，这个时候会被网络交互模块监听到用户的操作请求，传递给‘连接管理模块’
2. 接收到请求转发到‘进/线程连接模块’
3. 调用‘用户模块’来进行权限检测(访问数据库的权限)
4. 通过检测之后就会去‘连接进/线程模块’从‘线程连接池’中查找空闲的被缓存的连接线程和客户端请求对接，如果失败则创建一个新的连接请求 7. 返回连接线程

3.1.3 处理

1. 在用户权限校验成功之后，并且获得新的连接池之后就会去‘命令分发器’，判断命令的类型如果是select就会去访问‘查询缓存’，如果没有就会往下执行;
2. 如果是select，并且开启”查询缓存”之后就会去缓存中查询是否有与之相匹配的SQL,如果有就会校验用户访问该数据的权限,通过就返回不通过就会返回错误信
   息. 如果数据没有就会往下执行
3. 会记录过程中的SQL操作过程到日志文件中
4. 在第8,9步 没有满足相应条件之后往下执行进入 “命令解析器”,经过词法分析,语法分析后生成解析树
5. 根据操作转到对应的模块处理(预处理阶段)，根据SQL选择执行的模块
6. 模块收到请求后，通过”访问控制模块”检查所连接的用户是否有访问目标表和目标字段的权限(是指访问这些数据的权限)
7. 有权限”表管理模块”先查看table cache中是否存在，有则直接对应的表和获取锁，负责重新打开表文件
8. 根据表的ENGINE数据，获取表的存储引擎类型等信息
9. 通过接口调用对应的存储引擎处理
10. 返回查询之后数据内容

3.1.4 结果

1. 命令执行完了之后，将结果集返回给”连接进/线程模块”(返回的也可以是相应标识，成功失败)
2. “连接进/线程模块”进行后续的清理工作，并继续等待请求或断开与客户端的连接