一分钟做网站,网站定制成exe,葫芦岛网站建设,军事新闻头条文职最新消息昨日对MySQL的索引整理了一份小文档#xff0c;对结构/分类/语法等做了一个小总结#xff0c;具体文章可点击#xff1a;MySQL-索引回顾#xff0c;索引知识固然很重要#xff0c;但引入运用到实际工作中更重要。 参考之前的文章#xff1a;SQL优化总结以及参考百度/CSDN…昨日对MySQL的索引整理了一份小文档对结构/分类/语法等做了一个小总结具体文章可点击MySQL-索引回顾索引知识固然很重要但引入运用到实际工作中更重要。 参考之前的文章SQL优化总结以及参考百度/CSDN/尚硅谷/黑马程序员/阿里云开发者社区我个人把SQL性能分析的知识再整理了一下学就要学彻底事不宜迟直接进入正题吧。 SQL执行频率
MySQL 客户端连接成功后通过 show [session|global] status 命令可以提供服务器状态信息。通过如下指令可以查看当前数据库的INSERT、UPDATE、DELETE、SELECT的访问频次
-- session 是查看当前会话 ;
-- global 是查询全局数据 ;
SHOW GLOBAL STATUS LIKE Com_______;Com_delete: 删除次数 Com_insert: 插入次数 Com_select: 查询次数 Com_update: 更新次数
我们可以在当前数据库再执行几次查询操作及更新操作然后再次查看执行频次看看 Com_select 参数会不会变化。 通过上述指令我们可以查看到当前数据库到底是以查询为主还是以增删改为主从而为数据库优化提供参考依据。 如果是以增删改为主我们可以考虑不对其进行索引的优化。 如果是以查询为主那么就要考虑对数据库的索引进行优化了。 那么通过查询SQL的执行频次我们就能够知道当前数据库到底是增删改为主还是查询为主。 那假如说是以查询为主我们又该如何定位针对于那些查询语句进行优化呢 次数我们可以借助于慢查询日志。
慢查询日志
慢查询日志记录了所有执行时间超过指定参数long_query_time单位秒默认10秒的所有SQL语句的日志。
MySQL的慢查询日志默认没有开启我们可以查看一下系统变量 slow_query_log。 我这边是已经开启了如果想要开启慢查询日志需要在MySQL的配置文件/etc/my.cnf中配置如下信息
# 开启MySQL慢日志查询开关
slow_query_log1
# 设置慢日志的时间为2秒SQL语句执行时间超过2秒就会视为慢查询记录慢查询日志
long_query_time2配置完毕之后通过以下指令重新启动MySQL服务器进行测试查看慢日志文件中记录的信息/var/lib/mysql/localhost-slow.log systemctl restart mysqld 然后再次查看开关情况慢查询日志就已经打开了。
测试
select * from tb_user; -- 这条SQL执行效率比较高, 执行耗时 0.00sec
select count(*) from tb_sku; -- 由于tb_sku表中, 预先存入了1000w的记录, count一次,耗时13.35secB. 检查慢查询日志
最终我们发现在慢查询日志中只会记录执行时间超多我们预设时间2s的SQL执行较快的SQL是不会记录的。 那这样通过慢查询日志就可以定位出执行效率比较低的SQL从而有针对性的进行优化。
profile详情
show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。通过have_profiling参数能够看到当前MySQL是否支持profile操作 SELECT have_profiling ; 可以看到当前MySQL是支持 profile操作的但是开关是关闭的。可以通过set语句在session/global级别开启profiling SET profiling 1; 开关已经打开了接下来我们所执行的SQL语句都会被MySQL记录并记录执行时间消耗到哪儿去了。 我们直接执行如下的SQL语句
select * from tb_user;
select * from tb_user where id 1;
select * from tb_user where name 白起;
select count(*) from tb_sku;执行一系列的业务SQL的操作然后通过如下指令查看指令的执行耗时
-- 查看每一条SQL的耗时基本情况
show profiles;
-- 查看指定query_id的SQL语句各个阶段的耗时情况
show profile for query query_id;
-- 查看指定query_id的SQL语句CPU的使用情况
show profile cpu for query query_id;查看每一条SQL的耗时情况: 查看指定SQL各个阶段的耗时情况 : explain
EXPLAIN 或者 DESC命令获取 MySQL 如何执行 SELECT 语句的信息包括在 SELECT 语句执行过程中表如何连接和连接的顺序。
语法:
-- 直接在select语句之前加上关键字 explain / desc
EXPLAIN SELECT 字段列表 FROM 表名 WHERE 条件 ;Explain 执行计划中各个字段的含义: 索引使用
验证索引效率
在讲解索引的使用原则之前先通过一个简单的案例来验证一下索引看看是否能够通过索引来提升数据查询性能。在演示的时候我们还是使用之前准备的一张表 tb_sku , 在这张表中准备了1000w的记录。 这张表中id为主键有主键索引而其他字段是没有建立索引的。 我们先来查询其中的一条记录看看里面的字段情况执行如下SQL select * from tb_sku where id 1\G; SQL末尾使用’\G’可以纵向方向展示数据在数据少的情况下很方便的使用Navicat第三方工具是不支持’\G’的。 可以看到即使有1000w的数据,根据id进行数据查询,性能依然很快因为主键id是有索引的。 那么接下来我们再来根据 sn 字段进行查询执行如下SQL SELECT * FROM tb_sku WHERE sn 100000003145001; 我们可以看到根据sn字段进行查询查询返回了一条数据结果耗时 20.78sec就是因为sn没有索引而造成查询效率很低。
那么我们可以针对于sn字段建立一个索引建立了索引之后我们再次根据sn进行查询再来看一下查询耗时情况。
创建索引 create index idx_sku_sn on tb_sku(sn) ; 然后再次执行相同的SQL语句再次查看SQL的耗时。 SELECT * FROM tb_sku WHERE sn 100000003145001; 我们明显会看到sn字段建立了索引之后查询性能大大提升。建立索引前后查询耗时都不是一个数量级的。
最左前缀法则
如果索引了多列联合索引要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始并且不跳过索引中的列。如果跳跃某一列索引将会部分失效(后面的字段索引失效)。
以 tb_user 表为例我们先来查看一下之前 tb_user 表所创建的索引。 在 tb_user 表中有一个联合索引这个联合索引涉及到三个字段顺序分别为professionagestatus。
对于最左前缀法则指的是查询时最左变的列也就是profession必须存在否则索引全部失效。而且中间不能跳过某一列否则该列后面的字段索引将失效。 接下来我们来演示几组案例看一下
具体的执行计划 explain select * from tb_user where profession 软件工程 and age 31 and status 0; explain select * from tb_user where profession 软件工程 and age 31; explain select * from tb_user where profession 软件工程; 以上的这三组测试中我们发现只要联合索引最左边的字段 profession存在索引就会生效只不过索引的长度不同。 而且由以上三组测试我们也可以推测出profession字段索引长度为47、age字段索引长度为2、status字段索引长度为5。 explain select * from tb_user where age 31 and status 0; explain select * from tb_user where status 0; 而通过上面的这两组测试我们也可以看到索引并未生效原因是因为不满足最左前缀法则联合索引最左边的列profession不存在。 explain select * from tb_user where profession 软件工程 and status 0; 上述的SQL查询时存在profession字段最左边的列是存在的索引满足最左前缀法则的基本条件。但是查询时跳过了age这个列所以后面的列索引是不会使用的也就是索引部分生效所以索引的长度就是47.
当执行SQL语句: explain select * from tb_user where age 31 and status 0 and profession 软件工程 时是否满足最左前缀法则走不走上述的联合索引索引长度 可以看到是完全满足最左前缀法则的索引长度54联合索引是生效的。
注意 最左前缀法则中指的最左边的列是指在查询时联合索引的最左边的字段(即是第一个字段)必须存在与我们编写SQL时条件编写的先后顺序无关。
范围查询
联合索引中出现范围查询(,)范围查询右侧的列索引失效。 explain select * from tb_user where profession 软件工程 and age 30 and status 0; 当范围查询使用 或 时走联合索引了但是索引的长度为49就说明范围查询右边的status字段是没有走索引的。 explain select * from tb_user where profession 软件工程 and age 30 and status 0; 当范围查询使用 或 时走联合索引了但是索引的长度为54就说明所有的字段都是走索引的。
所以在业务允许的情况下尽可能的使用类似于 或 这类的范围查询而避免使用 或 。
索引失效情况
索引列运算
不要在索引列上进行运算操作 索引将失效。
在tb_user表中除了前面介绍的联合索引之外还有一个索引是phone字段的单列索引。 A. 当根据phone字段进行等值匹配查询时, 索引生效。
explain select * from tb_user where phone 17799990015; B. 当根据phone字段进行函数运算操作之后索引失效。
explain select * from tb_user where substring(phone,10,2) 15; 字符串不加引号
字符串类型字段使用时不加引号索引将失效。
接下来我们通过两组示例来看看对于字符串类型的字段加单引号与不加单引号的区别
explain select * from tb_user where profession 软件工程 and age 31 and status 0;
explain select * from tb_user where profession 软件工程 and age 31 and status 0;explain select * from tb_user where phone 17799990015;
explain select * from tb_user where phone 17799990015;经过上面两组示例我们会明显的发现如果字符串不加单引号对于查询结果没什么影响但是数据库存在隐式类型转换索引将失效。
模糊查询
如果仅仅是尾部模糊匹配索引不会失效。如果是头部模糊匹配索引失效。
接下来我们来看一下这三条SQL语句的执行效果查看一下其执行计划
由于下面查询语句中都是根据profession字段查询符合最左前缀法则联合索引是可以生效的我们主要看一下模糊查询时%加在关键字之前和加在关键字之后的影响。
explain select * from tb_user where profession like 软件%;
explain select * from tb_user where profession like %工程;
explain select * from tb_user where profession like %工%;经过上述的测试我们发现在like模糊查询中在关键字后面加%索引可以生效。而如果在关键字前面加了%索引将会失效。
or连接条件
用or分割开的条件 如果or前的条件中的列有索引而后面的列中没有索引那么涉及的索引都不会被用到。
explain select * from tb_user where id 10 or age 23;
explain select * from tb_user where phone 17799990017 or age 23;由于age没有索引所以即使id、phone有索引索引也会失效。所以需要针对于age也要建立索引。
然后我们可以对age字段建立索引。 create index idx_user_age on tb_user(age); 建立了索引之后我们再次执行上述的SQL语句看看前后执行计划的变化。 最终我们发现当or连接的条件左右两侧字段都有索引时索引才会生效。
数据分布影响
如果MySQL评估使用索引比全表更慢则不使用索引。
select * from tb_user where phone 17799990005;
select * from tb_user where phone 17799990015;经过测试我们发现相同的SQL语句只是传入的字段值不同最终的执行计划也完全不一样这是为什么呢
就是因为MySQL在查询时会评估使用索引的效率与走全表扫描的效率如果走全表扫描更快则放弃索引走全表扫描。 因为索引是用来索引少量数据的如果通过索引查询返回大批量的数据则还不如走全表扫描来的快此时索引就会失效。
接下来我们再来看看 is null 与 is not null 操作是否走索引。
执行如下两条语句
explain select * from tb_user where profession is null;
explain select * from tb_user where profession is not null;接下来我们做一个操作将profession字段值全部更新为null。 然后再次执行上述的两条SQL查看SQL语句的执行计划。 最终我们看到一模一样的SQL语句先后执行了两次结果查询计划是不一样的为什么会出现这种现象这是和数据库的数据分布有关系。查询时MySQL会评估走索引快还是全表扫描快如果全表扫描更快则放弃索引走全表扫描。 因此is null 、is not null是否走索引得具体情况具体分析并不是固定的。
SQL提示
目前tb_user表的数据情况如下: 索引情况如下: 把上述的 idx_user_age, idx_email 这两个之前测试使用过的索引直接删除。
drop index idx_user_age on tb_user;
drop index idx_email on tb_user;A. 执行SQL : explain select * from tb_user where profession 软件工程; 查询走了联合索引。
B. 执行SQL创建profession的单列索引create index idx_user_pro on tb_user(profession); C. 创建单列索引后再次执行A中的SQL语句查看执行计划看看到底走哪个索引。 测试结果我们可以看到possible_keys中 idx_user_pro_age_sta,idx_user_pro 这两个索引都可能用到最终MySQL选择了idx_user_pro_age_sta索引。这是MySQL自动选择的结果。
那么我们能不能在查询的时候自己来指定使用哪个索引呢 答案是肯定的此时就可以借助于MySQL的SQL提示来完成。 接下来介绍一下SQL提示
SQL提示是优化数据库的一个重要手段简单来说就是在SQL语句中加入一些人为的提示来达到优化操作的目的。
1). use index 建议MySQL使用哪一个索引完成此次查询仅仅是建议mysql内部还会再次进行评估。 explain select * from tb_user use index(idx_user_pro) where profession 软件工程; 2). ignore index 忽略指定的索引。 explain select * from tb_user ignore index(idx_user_pro) where profession 软件工程; 3). force index 强制使用索引。 explain select * from tb_user force index(idx_user_pro) where profession 软件工程; 示例演示
A. use index explain select * from tb_user use index(idx_user_pro) where profession 软件工程; B. ignore index explain select * from tb_user ignore index(idx_user_pro) where profession 软件工程; C. force index
explain select * from tb_user force index(idx_user_pro_age_sta) where profession 软件工程; 覆盖索引
尽量使用覆盖索引减少select *。 那么什么是覆盖索引呢 覆盖索引是指 查询使用了索引并且需要返回的列在该索引中已经全部能够找到 。
接下来我们来看一组SQL的执行计划看看执行计划的差别然后再来具体做一个解析。
explain select id, profession from tb_user where profession 软件工程 and age 31 and status 0 ;
explain select id,profession,age, status from tb_user where profession 软件工程 and age 31 and status 0 ;
explain select id,profession,age, status, name from tb_user where profession 软件工程 and age 31 and status 0 ;
explain select * from tb_user where profession 软件工程 and age 31 and status 0;上述这几条SQL的执行结果为: 从上述的执行计划我们可以看到这四条SQL语句的执行计划前面所有的指标都是一样的看不出来差异。但是此时我们主要关注的是后面的Extra前面两条SQL的结果为 Using where; Using Index ; 而后面两条SQL的结果为: Using index condition 。 因为在tb_user表中有一个联合索引 idx_user_pro_age_sta该索引关联了三个字段profession、age、status而这个索引也是一个二级索引所以叶子节点下面挂的是这一行的主键id。 所以当我们查询返回的数据在 id、profession、age、status 之中则直接走二级索引直接返回数据了。 如果超出这个范围就需要拿到主键id再去扫描聚集索引再获取额外的数据了这个过程就是回表。 而我们如果一直使用select * 查询返回所有字段值很容易就会造成回表查询除非是根据主键查询此时只会扫描聚集索引。
为了大家更清楚的理解什么是覆盖索引什么是回表查询我们一起再来看下面的这组SQL的执行过程。
A. 表结构及索引示意图: id是主键是一个聚集索引。 name字段建立了普通索引是一个二级索引辅助索引。
B. 执行SQL : select * from tb_user where id 2; 根据id查询直接走聚集索引查询一次索引扫描直接返回数据性能高。
C. 执行SQLselet id,name from tb_user where name Arm; 虽然是根据name字段查询查询二级索引但是由于查询返回在字段为 idname在name的二级索引中这两个值都是可以直接获取到的因为覆盖索引所以不需要回表查询性能高。
D. 执行SQLselet id,name,gender from tb_user where name Arm; 由于在name的二级索引中不包含gender所以需要两次索引扫描也就是需要回表查询性能相对较差一点。
面试题
一张表, 有四个字段(id, username, password, status), 由于数据量大, 需要对以下SQL语句进行优化, 该如何进行才是最优方案
select id,username,password from tb_user where username zhangxi;
答案: 针对于 username, password建立联合索引
SQL为: create index idx_user_name_pass on tb_user(username,password);
这样可以避免上述的SQL语句在查询的过程中出现回表查询。
前缀索引
当字段类型为字符串varchartextlongtext等时有时候需要索引很长的字符串这会让索引变得很大查询时浪费大量的磁盘IO 影响查询效率。此时可以只将字符串的一部分前缀建立索引这样可以大大节约索引空间从而提高索引效率。
1). 语法 create index idx_xxxx on table_name(column(n)) ; 示例:
为tb_user表的email字段建立长度为5的前缀索引。 create index idx_email_5 on tb_user(email(5)); 2). 前缀长度
可以根据索引的选择性来决定而选择性是指不重复的索引值基数和数据表的记录总数的比值索引选择性越高则查询效率越高 唯一索引的选择性是1这是最好的索引选择性性能也是最好的。
select count(distinct email) / count(*) from tb_user ;
select count(distinct substring(email,1,5)) / count(*) from tb_user ;3). 前缀索引的查询流程 单列索引与联合索引
单列索引即一个索引只包含单个列。
联合索引即一个索引包含了多个列。
我们先来看看 tb_user 表中目前的索引情况: 在查询出来的索引中既有单列索引又有联合索引。
接下来我们来执行一条SQL语句看看其执行计划 通过上述执行计划我们可以看出来在and连接的两个字段 phone、name上都是有单列索引的但是最终mysql只会选择一个索引也就是说只能走一个字段的索引此时是会回表查询的。
紧接着我们再来创建一个phone和name字段的联合索引来查询一下执行计划。 create unique index idx_user_phone_name on tb_user(phone,name); 此时查询时就走了联合索引而在联合索引中包含 phone、name的信息在叶子节点下挂的是对应的主键id所以查询是无需回表查询的。
在业务场景中如果存在多个查询条件考虑针对于查询字段建立索引时建议建立联合索引而非单列索引。
如果查询使用的是联合索引具体的结构示意图如下 索引设计原则
1). 针对于数据量较大且查询比较频繁的表建立索引。
2). 针对于常作为查询条件where、排序order by、分组group by操作的字段建立索引。
3). 尽量选择区分度高的列作为索引尽量建立唯一索引区分度越高使用索引的效率越高。
4). 如果是字符串类型的字段字段的长度较长可以针对于字段的特点建立前缀索引。
5). 尽量使用联合索引减少单列索引查询时联合索引很多时候可以覆盖索引节省存储空间避免回表提高查询效率。
6). 要控制索引的数量索引并不是多多益善索引越多维护索引结构的代价也就越大会影响增删改的效率。
7). 如果索引列不能存储NULL值请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时它可以更好地确定哪个索引最有效地用于查询。
