MySQL性能优化就是通过合理安排资源,调整系统参数使MySQL运行更快、更节省资源。MySQL性能优化包括查询速度优化、数据库结构优化、MySQL服务器优化等。
优化MySQL 数据库是数据库管理员和数据库开发人员的必备技能。MySQL优化,一方面是找出系统的瓶颈,提高MySQL数据库整体的性能;另一方面需要合理的结构设计和参数调整,以提高用户操作响应的速度;同时还要尽可能节省系统资源,以便系统可以提供更大负荷的服务。
MySQL数据库优化是多方面的,原则是减少系统的瓶颈,减少资源的占用,增加系统的反应速度。例如,通过优化文件系统,提高磁盘I\O的读写速度;通过优化操作系统调度策略,提高MySQL在高负荷情况下的负载能力;优化表结构、索引、查询语句等使查询响应更快。
在MySQL中,可以使用SHOW STATUS语句查询一些MySQL数据库的性能参数。
其中,value是要查询的参数值,一些常用的性能参数如下:
查询MySQL服务器的连接次数:
查询MySQL服务器的慢查询:
查询其他参数的方法和两个参数的查询方法相同。慢查询次数参数可以结合慢查询日志,找出慢查询语句,然后针对慢查询语句进行表结构优化或查询语句优化。
查询是数据库中最频繁的操作,提高查询速度可以有效地提高MySQL数据库的性能。
通过对查询语句的分析,可以了解查询语句执行情况,找出查询语句执行的瓶颈,从而优化查询语句。MySQL中提供了EXPLAIN语句和DESCRIBE语句,来分析查询语句。
EXPLAIN语句的基本语法如下:
使用EXTENED关键字,EXPLAIN语句将产生附加信息。select_options是SELECT语句的查询选项,包括FROM WHERE子句等。
执行该语句,可以分析EXPLAIN后面SELECT语句的执行情况,并且能够分析出所查询表的一些特征。
查询结果进行解释:
id:SELECT识别符。这是SELECT的查询序列号。
select_type:表示SELECT语句的类型。它可以是以下几种取值:
table:表示查询的表。
type:表示表的连接类型。
(1)system:该表是仅有一行的系统表,这是const连接类型的一个特例。
(2)const:数据表最多只有一个匹配行,将在查询开始时被读取,并在余下的查询优化中作为常量对待。const表查询速度很快,因为他们只读取一次。const用于使用常数值比较PRIMARY KEY或UNIQUE索引的所有部分的场合。
(3)eq_ref:对于每个来自前面的表的行组合,从该表中读取一行。当一个索引的所有部分都在查询中使用并且索引时UNIQUE或PRIMARY KEY时,即可使用这种类型。eq_ref可以用于使用“=”操作符比较带索引的列。比较值可以为常量或一个在该表前面所读取的表的列的表达式。
(4)ref:对于来自前面的表的任意行组合,将从该表中读取所有匹配的行。这种类型用于索引既不是UNIQUE也不是PRIMARY KEY的情况。或者查询中使用了索引列的左子集,即索引中左边的部分列组合。ref可以用于使用=或<=>操作符带索引的列。
(5)ref_or_null:该连接类型如同ref,但是添加了MySQL可以专门搜索包含NULL值的行。在解决子查询中经常使用该连接类型的优化。
(6)index_merge:该连接类型表示使用了索引合并优化方法。在这种情况下,key列包含了使用的索引的清单,key_len包含了使用索引的最长关键元素。
(7)unique_subquery:该类型替换了下面形式的IN子查询的ref:
unique_subquery是一个索引查找函数,可以完全替换子查询,效率更高。
(8)index_subquery:该连接类型类似于unique_subquery,可以替换IN子查询,但只适合下列形式的子查询中的非唯一索引:
(9)range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了哪个索引。key_len包含所使用索引的最长关键元素。
当使用=、<>、>、>=、<、<=、IS NULL、<=>、BETWEEN或者IN 操作符用常量比较关键字列时,类型为range。
(10)index:该连接类型与ALL相同,除了只扫描索引树。这通常比ALL快,因为索引文件通常比数据文件小。
(11)ALL 对于前面的表的任意行组合,进行完整的表扫描。如果表是第一个没标记const的表,这样不好,并且在其他情况下很差。通常可以增加更多的索引来避免使用ALL连接。
DESCRIBE语句的使用方法与EXPLAIN语句是一样的,并且分析结果是一样的。
DESCRIBE可以缩写成DESC。
MySQL中提高性能的一个有效方式就是对数据表设计合理的索引。索引提供了高效访问数据的方法,并且可加快查询的速度,因此,索引对查询的速度有着至关重要的影响。使用索引可以快速地定位表中的某条记录,从而提高数据库查询的速度、提高数据库的性能。
如果查询时没有使用索引,查询语句将扫描表中的所有记录。在数据量大的情况下,这样查询的速度会很慢。如果使用索引进行查询,查询语句可以根据索引快速定位到待查询记录,从而减少查询的记录数,达到提高查询速度的目的。
索引可以提高查询的速度,但并不是使用带有索引的字段查询时索引都会起作用。
使用索引有几种特殊情况,在这些情况下有可能使用带有索引的字段查询时索引并没有起作用。
在使用LIKE关键字进行查询的查询语句中,如果匹配字符串的第一个字符为“%”,索引不会起作用。只有“%”不在第一个位置,索引才会起作用。
MySQL可以为多个字段创建索引。一个索引可以包括16个字段。对于多列索引,只有查询条件中使用了这些字段中的第1个字段时索引才会被使用。
查询语句的查询条件中只有OR关键字,且OR前后的两个条件中的列都是索引时,查询中才使用索引;否则,查询将不使用索引。
MySQL从4.1版本开始支持子查询,使用子查询可以进行SELECT语句的嵌套查询,即一个SELECT查询的结果作为另一个SELECT语句的条件,子查询可以一次性完成很多逻辑上需要多个步骤才能完成的SQL操作。子查询虽然可以使用查询语句很灵活,但执行效率不高。执行子查询时,MySQL需要内层查询语句的查询结果建立一个临时表。然后外层查询语句从临时表中查询记录。查询完毕后,再撤销这些临时表。因此,子查询的速度会受到一定的影响。如果查询的数据量比较大,这种影响就会随之增大。
在MySQL中,可以使用连接(JOIN)查询来代替子查询。连接查询不需要建立临时表,其速度比子查询更快,如果查询中使用索引,性能会更好。连接之所以更有效率,是因为MySQL不需要在内存中创建临时表来完成查询工作。
一个好的数据库设计方案对于数据库的性能常常会起到事半功倍的效果。合理的数据库结构不仅可以使数据库占用更小的磁盘空间,而且能够使查询速度更快。数据库结构的设计,需要考虑数据冗余、查询和更新的速度、字段的数据类型是否合理等多方面的内容。
对于字段比较多的表,如果有些字段的使用频率很低,可以将这些字段分离出来,形成新表。因为当一个表的数据量很大时,会由于使用频率低的字段存在而变慢。
如果需要用到低频字段信息,可以使用JOIN。通过这种分解,可以提高表的查询效率。对于字段很多且有些字段使用不频繁的表,可以通过这种分解的方式来优化数据库的性能。
对于需要经常联合查询的表,可以建立中间表,以提高查询效率。通过建立中间表,把需要经常联合查询的数据插入到中间表中,然后将原来的联合查询改为对中间表的查询,以此来提高查询效率。
设计数据库时应尽量遵循范式理论的规约,尽可能减少冗余字段,让数据库设计看起来精致、优雅。但是,合理地加入冗余字段可以提高查询速度。
表的规范化程度越高,表与表之间的关系就越多,需要连接查询的情况也就越多,例如员工的信息存储在staff表中,部门信息存储在department表中。通过staff表中的department_id字段与department表建立关联关系。如果要查询一个员工所在部门的名称,必须从staff表中查找员工所在部门的编号(department_id),然后根据这个编号去department表查找部门的名称。如果经常需要进行这个操作,连接查询会浪费很多时间。可以在staff表中增加一个冗余字段department_name,这样就不用每次都进行连接操作了。
注意:冗余字段会导致一些问题。比如,冗余字段的值在一个表中被修改了,就要想办法在其他表中更新该字段,否则就会使原来一致的数据变得不一致。分解表、增加中间表和增加冗余字段都浪费了一定的磁盘空间。从数据库性能来看,为了提高查询速度而增加少量的冗余大部分时候是可以接受的。是否通过增加冗余来提高数据库性能,这要根据实际需求综合分析。
插入记录时,影响插入速度的主要是索引、唯一性校验、一次插入记录条数等。根据这些情况,可以分别进行优化。
对于非空表,插入记录时,MySQL会根据表的索引对插入的记录建立索引。如果插入大量数据,建立索引会降低插入记录的速度。为了解决这种情况,可以在插入记录之前禁用索引,数据插入完毕后再开启索引。
其中,table_name是禁用索引的表的表名。
重新开启索引的语句如下:
对于空表批量导入数据,则不需要进行此操作,因为MyISAM引擎的表是在导入数据之后才建立索引的。
插入数据时,MySQL会对插入的记录进行唯一性校验。这种唯一性校验也会降低插入记录的速度。为了降低这种情况对查询速度的影响,可以在插入记录之前禁用唯一性检查,等到记录插入完毕后再开启。禁用唯一性检查的语句如下:
开启唯一性检查的语句如下:
插入多条记录时,可以使用一条INSERT语句插入一条记录;也可以使用一条INSERT语句插入多条记录。
使用一条INSERT语句插入多条记录的情形如下:
第二种情形的插入速度比第一种情形要快。
当需要批量导入数据时,如果能用LOAD DATA INFILE语句,就尽量使用。因为LOAD DATA INFILE语句导入数据的速度比INSERT语句快。
(1)禁用唯一性检查
插入数据之前执行set unique_checks=0 来禁止对唯一索引的检查,数据导完之后再运行 set unique_checks = 1。
(2)禁用外键检查
插入数据前执行禁止对外键的检查,数据插入完成之后再恢复对外键的检查。
恢复的语句:
(3)禁止自动提交
插入数据之前禁止事务的自动提交,数据导入完成之后,执行恢复自动提交操作。
恢复自动提交的语句如下:
MySQL提供了分析表、检查表和优化表的语句。分析表主要是分析关键字的分布;检查表主要是检查表中是否存在错误;优化表主要是消除删除或者更新造成的空间浪费。
MySQL中提供了ANALYZE TABLE语句来分析表。
LOCAL关键字是NO_WRITE_TO_BINLOG关键字的别名,二者都是执行过程不写入二进制日志,tbl_name为分析表的表名,可以有一个或多个。
使用ANALYZE TABLE分析表的过程中,数据库系统会自动对表加一个只读锁。在分析期间,只能读取表中的记录,不能更新和插入记录。ANALYZE TABLE 语句能够分析InnoDB、BDB和MyISAM类型的表。
MySQL中可以使用CHECK TABLE语句来检查表。CHECK TABLE语句能够检查InnoDB和MyISAM类型的表是否存在错误。对于MyISAM类型的表,CHECK TABLE语句还会更新关键字统计数据。而且,CHECK TABLE也可以检查视图是否有错误,比如在视图定义中被引用的表已不存在。
其中,tbl_name是表名。option参数有5个取值,分别是QUICK、FAST、MEDIUM、EXTENDED和CHANGED,各个选项的意义如下:
option只对MyISAM类型的表有效,对InnoDB类型的表无效。CHECK TABLE语句在执行过程中也会给表加上只读锁。
MySQL中使用OPTIMIZE TABLE语句。该语句对InnoDB和MyISAM类型的表都有效。但是,OPTILMIZE TABLE语句只能优化表中VARCHAR、BLOB或TEXT类型的字段。OPTILMIZE TABLE语句的基本语法如下:
其中,LOCAL | NO_WRITE_TO_BINLOG 关键字的意义和分析表相同,都是指定不写入二进制表日志;tbl_name是表名。
通过OPTIOMIZE TABLE语句可以消除删除和更新造成的文件碎片。OPTIMIZE TABLE语句在执行过程中也会给表加上只读锁。
注意:一个表使用了TEXT或者BLOB这样的数据类型,如果已经删除了表的一大部分,或者已经对含有可变长度行的表(含有VARCHAR,BLOB或TEXT列的表)进行了很多更新,则应使用OPTIMIZE TABLE来重新利用未使用的空间,并更新数据文件的碎片。在多数的设置中,根本不需要运行OPTIMIZE TABLE。即使对可变长度的行进行了大量的更新,也不需要经常运行,每周一次或每月一次即可,并且只需要对特定的表运行。
优化MySQL服务器主要从两方面来优化:一方面是对硬件进行优化;另一方面是对MySQL服务的参数进行优化。这部分的内容需要较全面的知识,一般只有专业的数据库管理员才能进行这一类的优化。对于可以制定参数的操作系统,也可以针对MySQL进行操作系统优化。
服务器的硬件性能直接决定着MySQL数据库的性能。硬件的性能瓶颈直接决定了MySQL数据库的运行速度和效率。针对性能瓶颈,提高硬件配置,可以提高MySQL数据库查询、更新的速度。
通过优化MySQL的参数可以提高资源利用率,从而达到提高MySQL服务器性能的目的。
MySQL服务的配置参数都在my.cnf 或者my.ini文件的[MySQLd]组中。
合理地配置这些参数可以提高MySQL服务器的性能。除了上述参数以外,还有innodb_log_buffer_size、innodb_log_file_size等参数。配置完参数以后,需要重新启动MySQL服务才会生效。
在MySQL8.0中,用户可以把数据库和表归组到逻辑和物理表空间中,这样做可以提高资源的利用率。
MySQL8.0使用CREATE TABLESPACE语句来创建一个通用表空间。这个功能可以让用户自由地选择表和表空间的映射。例如,创建表空间和设置这个表空间应该含有什么样的表。这也让在同一个表空间的用户对所有的表分组,因此在文件系统一个单独的文件内持有他们所有的数据,同时为通用表实现了元数据锁。
优化普通SQL临时表性能时MySQL8.0的目标之一。首先,通过优化临时表在磁盘中的不必要步骤,使得临时表的创建和移除成为一个轻量级的操作。将临时表移动到一个单独的表空间中,恢复临时表的过程就变得非常简单,就是在启动时重新创建临时表的单一过程。
MySQL8.0去掉了临时表中了必要的持久化。临时表仅仅在连接和会话内被创建,然后通过服务的生命周期绑定它们。通过移除不必要的UNDO和REDO日志,改变缓冲和锁,从而为临时表做了优化操作。
MySQL8.0增加了UNDO日志一个额外的类型,这个类型的日志被保存在一个单独的临时表空间中,在恢复期间不会被调用,而是在回滚操作中才会被调用。
MySQL8.0为临时表设定了一个特别类型,称之为“内在临时表”。内在临时表和普通临时表很像,只是内在临时表使用宽松的ACID和MVCC语义。
MySQL8.0为了提高临时表相关的性能,对临时表相关的部分进行了大幅修改,包括引入新的临时表空间(ibtmpl);对于临时表的DDL,不持久化相关表定义;对于临时表的DML,不写redo、关闭change buffer等。
InnoBD临时表元素不再存储于InnoDB系统表,而是存储在INNODB_TEMP_TABLE_INFO中,包含所有用户和系统创建的临时表信息。该表在第一次运行select时被创建。
?
MySQL8.0使用了独立的临时表空间来存储临时表数据,但不能是压缩表。临时表空间在实例启动的时候进行创建、shoutdown的时候进行删除,即为所有非压缩的innodb临时表提供一个独立的表空间。默认的临时表空间文件为ibtmp1,位于数据目录中。通过innodb_temp_data_file_path参数可指定临时表空间的路径和大小,默认为12MB。只有重启实例才能回收临时表空间文件ibtmp1的大小。create temporary table和using temporary table将共用这个临时表空间。
在MySQL8.0中,临时表在连接断开或者数据库实力关闭的时候会进行删除,从而提高了性能。只能临时表的元数据使用了redo保护,保护元数据的完整性,以便异常启动后进行清理工作。
临时表的元数据在MySQL8.0之后使用了一个独立的表(innodb_temp_table_info)进行保存,不用使用redo保护,元数据也只保存在内存中。但这有一个前提,即必须使用共享的临时表空间,如果使用file-per-table,任然需要持久化元数据,以便异常恢复清理。临时表需要undo log,用于MySQL运行时的回滚。
在MySQL8.0中,新增一个系统选项internal_tmp_disk_storage_engine,可定义磁盘临时表的引擎类型,默认为InnoDB,可选MyISAM。在这以前,只能使用MyISAM。在MySQL5.6.3以后新增的参数default_tmp_storage_engine是控制create_temporart table 创建的临时表存储引擎,在以前默认是MEMORY。
?
在MySQL8.0中可以设置服务器语句超时的限制,单位可以达到毫秒级级别。
当中断的执行语句超过设置的毫秒数后,服务器将终止查询影响不大的事务或连接,然后将错误报给客户端。
设置服务器语句超时的限制,可以通过设置系统变量max_execution_time来实现。
默认情况下,MAX_EXECUTION_TIME的值为0,代表没有时间限制。通过上述设置后,如果SELECT语句执行超过2000毫秒,语句将会被终止。
设置服务器语句超时的限制,也可以通过设置系统变量max_execution_time 来实现。该变量用于设置SELECT语句运行在一个特定的会话里,指定该会话的超时时间。
通过上述设置后,如果SELECT语句执行超过2000毫秒,会话将会被终止。
MySQL8.0支持创建全局通用表空间,全局表空间可以被所有数据库的表共享,而且相比于独享表空间,手动创建共享空间可以节约元数据方面的内存。可以在创建表的时候指定属于哪个表空间,也可以对已有表进行表空间修改。
下面创建名为dxy的共享表空间,SQL语句如下:
指定表空间,SQL语句如下:
也可以通过ALTER TABLE 语句指定表空间,SQL语句如下:
如何删除创建的共享表空间?因为是共享表空间,所以不能直接通过drop table tbname 来删除,也不能回收空间。当确定共享表空间的数据都没用并且依赖该表空间的表均已经删除时,可以通过drop tablespace来删除共享表空间,以释放空间,如果依赖该共享表空间的表存在就会删除失败。
首先,删除依赖该表空间的数据表:
最后,删除表空间:
不可见索引的特性对于性能调试非常有用。在MySQL8.0中,索引可以被”隐藏“和”显示“。当一个索引被隐藏时,它不会被查询优化器所使用。也就是说,管理员可以隐藏一个索引,然后观察对数据库的影响。如果数据库性能有所下降,就说明这个索引是有用的,于是将其”恢复显示“即可;如果数据库性能看不出变化,说明这个索引是多余的,可以删除了。
注意:当索引被隐藏时,它的内容仍然是和正常索引一样实时更新的。如果一个索引需要长期被隐藏,那么可以将其删除,因为索引的存在会影响插入、更新和删除的性能。
注意:数据表中的主键不能被设置为invisible。
MySQL8.0新增了一个资源组功能,用于调控线程优先级以及绑定CPU。MySQL用户需要有RESOURCE_GROUP_ADMIN权限才能创建、修改、删除资源组。
--end