• MySQL数据库存储引擎


    1.MySQL引擎概述

    1.1.什么是存储引擎?

    数据库表里的数据存储在数据库里及磁盘上,它跟视频格式及存储磁盘文件系统格式的特征类似,也有很多存储方式。

    但是,对于用户和应用程序来说,同样一张表的数据,无论采用什么引擎来存储,用户看到的数据都是一样的。对于不同的引擎存取,引擎功能、占用的空间大小、读取性能等可能都有区别。

    存储引擎是MySQL数据库用来处理不同表类型的SQL操作的组件。

    MySQL早期最常用的存储引擎为:MyISAM和InnoDB。目前,InnoDB是最常用的存储引擎,也是MySQL5.6默认的存储引擎。

    1.2.MySQL存储引擎的架构

    MySQL的存储引擎是MySQL数据库的重要组成部分。MySQL的每种存储引擎在MySQL里都是通过插件的方式使用的,可以轻易地从MySQL中进行加载和卸载,MySQL中可以同时支持多种存储引擎。

    MySQL体系结构的组成部分:

    1、连接池部分。
    2、数据库管理部分。
    3、SQL接口、查询分析器、优化器、缓存缓冲。
    4、存储引擎部分。
    5、数据库数据文件和各种日志文件。
    6、文件系统磁盘。
    

    2.查看MySQL支持的存储引擎

    可以在MySQL中使用显示引擎的命令来得到一个可用引擎的列表:

    select version();
    show engines;
    

    命令的结果显示了数据库可用引擎的全部名单,以及在当前的数据库中是否支持这些引擎,其中前四列比较重要,第一列是引擎名字,第二列是当前数据库是否支持,第三列是描述,第四列表示是否支持事务。

    3.MySQL5.6支持的存储引擎

    存储引擎 说明(带*的为重点)
    InnoDB InnoDB是MySQL5.6默认的存储引擎,InnoDB支持事务,具有提交、回滚的功能,并且可以通过崩溃恢复能力来保护用户的数据,读写数据是行级锁定,可提升多用户并发访问的能力,InnoDB以集群的索引方式存储用户数据,基于主键方式查询可提高I/O性能,InnoDB也支持外键,使得数据更完整、更安全。*
    MyISAM MyISAM是MySQL5.5.5以前默认的存储引擎,曾经用的很多,现在用的少了,MyISAM仅支持表级锁,读写性能都很有限。可用于只读或者绝大多数以读为主的业务场景。
    Memory Memory以内存的方式存储所有数据,访问速度很快,不过其使用场景也是越来越少了。InnoDB的Buffer pool内存也可以缓存绝大多数的数据了。
    CSV CSV这个引擎所对应的数据表格实际上是带有逗号分隔值的文本文件。CSV表格允许您以CSV格式导入或者转储数据,以便于读取和写入相同格式的脚本,与应用程序进行数据交换。由于CSV表是没有索引的,因此通常应在正常操作期间将数据保存在InnoDB表中,并且只能在导入或导出阶段使用CSV表。
    Archive 这些紧凑、无索引的引擎表旨在存储和检索大量参考的历史、归档或安全审核信息。
    Blackhole Blackhole存储引擎接受但不存储数据,类似于Unix/dev/null设备。查询总是会返回一个空集。这些表可用于将DML语句发送到从属服务器的复制配置,但是主服务器不保留其自己的数据副本。
    Merge 使MySQL DBA或开发人员能够对一系列相同的MyISAM表进行逻辑分组,并将其作为一个对象引用。merge适用于数据仓库等VLDB环境。
    Federated Federated可通过链接单独的MySQL服务器以从许多物理服务器创建一个逻辑数据库。其非常适合于分布式或数据集环境。
    Example 该引擎作为MySQL源代码中的一个例子,说明了如何开始编写新的存储引擎。这主要是开发商感兴趣的。存储引擎是一个什么都不做的“stub”。您可以使用此引擎创建表,但不能存储数据或从中检索数据。

    4.MySQL常用存储引擎特性对比

    特性 MyISAM Memory InnoDB Archive NDB
    存储限制 256TB RAM 64TB NONE 384EB
    事务 NO NO YES NO NO
    锁粒度 TABLE TABLE ROW ROW ROW
    B-tree索引 YES YES YES NO NO
    T-tree索引 NO NO NO NO YES
    Hash索引 NO YES NO NO YES
    Full-text search索引 YES NO YES NO NO
    Clustered索引 NO NO YES NO NO
    数据缓存 NO N/A YES NO YES
    索引缓存 YES N/A YES NO YES
    压缩数据 YES NO YES YES NO
    加密数据 YES YES YES YES YES
    集群数据库支持 NO NO NO NO YES
    主从复制支持 YES YES YES YES YES
    外键支持 NO NO YES NO NO

    5.设置与更改MySQL的引擎

    5.1.设置表的引擎

    如果建表的时候不指定引擎,那么表的引擎就会和数据库的默认配置一致。

    指定表的引擎建立表,建立一个学生表:

    create tables `student` (
    `Sno` int(10) not null comment '学号',
    `Sname` varchar(16) not null comment '姓名',
    `Ssex` char(2) not null comment '性别',
    `Sage` varchar(16) default null,
    `Sdept` varchar(16) default null comment '学生所在系别',
    key `ind_sage` (`Sage`),
    key `ind_sno` (`Sno`)
    ) engine=myisam default charset=utf8  # 最后一行括号外,指定引擎。
    

    5.2.更改表的引擎

    一般来说,更改MySQL引擎的需求并不多见,但偶尔也会有。更改表的引擎的几种修改方法。

    5.2.1.利用SQL命令语句修改引擎

    alter table oldboy engine = innodb;
    alter table oldboy engine = myisam;
    

    更改引擎:

    show create table testG
    alter table test engine = myisam;
    show create table testG
    

    使用此方法若要批量修改,则需要通过开发脚本实现,与分表分库脚本差不多。

    5.2.2.使用sed对备份的SQL文件进行批量转换

    使用sed对备份内容进行引擎转换:

    nohup sed -e 's/MyISAM/InnoDB/g' oldboy.sql > oldboy_1.sql &
    

    5.2.3.mysql_convert_table_format命令修改

    mysql_convert_table_format --user=root --password=oldboy123 --socket=/data/3306/mysql.sock --engine=myisam oldboy test
    

    该命令需要一些依赖包,安装方法为:

    yum -y install perl-DBI perl-DBD-MySQL perl-Time-HiRes
    

    6.MyISAM引擎

    6.1.什么是MyISAM引擎

    MyISAM引擎是MySQL关系型数据库管理系统的默认存储引擎(MySQL5.5.5以前)。这种MySQL表存储结构可从旧的ISAM代码中扩展出许多有用的功能。在新版本的MySQL中,InnoDB引擎由于支持事务、外键等,有利于数据的一致性,以及其能支持更高的多用户并发性等优点,InnoDB已经取代了曾经常用的MyISAM引擎,不过由于数据库中的MySQL库的大部分表主要用于读取,因此,MyISAM引擎依然在使用。

    6.2.MyISAM引擎的存储方式

    每一个MyISAM引擎的表都对应于硬盘上的三个文件。这三个文件虽然具有一样的文件名,但是其不同的扩展名指示了其不同的类型用途:“.frm”文件用于保存表的定义,该文件并不是MyISAM引擎的一部分,而是服务器的一部分;“.MYD”用于保存表的数据;“.MYI”则是表的索引文件。“.MYD”和.MYI是MyISAM的关键点。

    MySQL数据库系统的表大多数都使用MyISAM引擎。

    6.3.MyISAM引擎的主要特点

    特性 支持情况 说明
    存储限制 256TB
    事务支持 NO
    锁表粒度 TABLE 即数据更新时锁定整个表:其锁定机制是表级锁定,这虽然可以让锁定的实现成本很小,但是同时也大大降低了其并发性能
    全文索引 YES
    数据缓存 NO 不会缓存数据
    索引缓存 YES MyISAM可以通过key_buffer_size缓存索引,以大大提高访问性能,减少磁盘IO,但是这个缓存区只会缓存索引,而不会缓存数据
    外键支持 NO 不支持外键
    资源占用 因为功能不多,且管理粒度较粗,因此,MyISAM消耗系统资源比InnoDB少很多
    读写是否阻塞 YES 不仅会在写入的时候阻塞读取,MyISAM还会在读取的时候阻塞写入,但读本身并不会阻塞另外的读
    是否默认 NO MyISAM是MySQL5.5.5之前默认的存储引擎,因为性能问题,在MySQL后期版本中被取代

    6.4.MyISAM引擎适用的生产业务场景

    MyISAM引擎可以使用的生产业务场景。

    1、不需要事务支持并且对数据一致性要求不高的业务。
    2、一般适用于读请求较多的应用,读写都频繁的场景不适合。
    3、读写并发访问相对较低的业务。
    4、数据修改相对较少的业务(阻塞问题)。
    5、硬件资源比较差的服务器。
    6、使用读写分离的MySQL从库可以使用MyISAM。
    

    当下99%的企业业务场景,都不需要使用MyISAM了,而是选择更有优势的InnoDB。

    7.InnoDB引擎

    7.1.什么是InnoDB引擎

    InnoDB引擎是当下MySQL数据库最重要的存储引擎,其正在成为目前MySQL AB所发行新版的标准,被包含在所有的安装包里。与其他的存储引擎相比,InnoDB引擎的优点是更新数据行级锁定、支持ACID的事务、支持外键,它的设计目标是面向在线事务处理的应用,目前绝大多数互联网公司都在使用InnoDB引擎,该引擎替代了其他的引擎。MySQL5.6版本的默认引擎已变为InnoDB引擎。

    7.2.InnoDB引擎的存储方式

    InnoDB存储引擎将数据存放在一个像黑盒一样的逻辑表空间中,这个表空间分为共享表空间和独立表空间,从MySQL5.6开始,即默认支持将InnoDB引擎的表数据单独存放到各自独立的ibd文件中(独立表空间)。

    7.3.InnoDB引擎的主要特点

    特性 支持情况 说明
    存储限制 64TB 存储限制有些小
    事务 YES 支持4个事务隔离级别,支持多版本读
    锁粒度 ROW 更新数据仅锁定行
    B-tree索引 YES
    T-tree索引 NO
    Hash索引 NO
    Full-text search索引 YES 从5.5开始支持全文索引
    Clustered索引 YES 数据和主键以Cluster方式进行存储,组成一颗平衡树
    数据缓存 YES 高效缓存特性:能缓存索引,也能缓存数据
    索引缓存 YES 高效缓存特性:能缓存索引,也能缓存数据
    压缩数据 YES 可以压缩数据
    加密数据 YES 可以加密数据
    集群数据库支持 NO 不支持MySQL集群,NDB是集群的引擎
    主从复制支持 YES 支持主从复制集群
    资源占用 由于其功能和粒度都更强,因此对硬件的要求很高
    分区支持 YES 支持分区,可以提升扩展性和性能
    表空间支持 YES 支持共享和独立表空间,有利于管理和提升性能

    7.4.InnoDB引擎适用的生产业务场景

    1、需要事务支持的业务(具有很好的事务特性)。
    2、行级锁定对高并发有很好的适应能力,但需要确保查询是通过索引来完成的。
    3、数据读写及更新都较为频繁的场景,如BBS、SNS、微博、微信等。
    4、数据一致性要求较高的业务,例如:充值转账、银行卡转账等。
    5、硬件设备资源较好,特别是内存要大,可以利用InnoDB较好的缓存能力来提高内存利用率,尽可能减少磁盘IO。
    

    7.5.InnoDB引擎相关参数介绍

    InnoDB引擎的重要参数 说明
    innodb_buffer_pool_size = 2048M InnoDB使用一个缓冲池来保存索引和原始数据,缓冲池设置的越大,理论上在存取表里面的数据时所需要的磁盘I/O就越少。官方建议将InnoDB的Buffer Pool值配置为物理内存的50%~80%
    innodb_data_file_path = ibdata1:12M:autoextend InnoDB数据文件的路径,默认为12MB大小ibdata1的单独文件,默认以64MB为单位自增(autoextend)
    innodb_additional_mem_pool_size = 16M 该参数用来设置InnoDB存储的数据目录信息和其他内部数据结构的内存池大小。应用程序里的表越多,就需要在其中分配越多的内存。对于一个相对稳定的应用来说,这个参数的大小也是相对稳定的,没有必要预留非常大的值。如果InnoDB将开始从操作系统分配内存,并且向MySQL错误日志中记录警告信息。默认为1MB,当发现错误日志中已经有相关的警告信息时,就应该适当地增加该参数的大小
    innodb_file_io_threads = 4 InnoDB中的文件I/O线程。通常设置为4,如果是Windows则可以设置更大的值以提高磁盘I/O
    innodb_thread_concurrency = 8 你的服务器中有几个CPU就设置为几,建议使用默认设置,一般设置为8
    innodb_flush_log_at_trx_commit = 2 若设置为0,就相当于innodb_log_buffer_size队列满后再统一存储,默认值为1,该值也是最安全的设置
    innodb_log_buffer_size = 16M 默认为1MB,通常设置为8~16MB就足够了
    innodb_log_file_size = 128M 确定日志文件的大小,更大的设置可以提高性能,但也会增加数据库恢复的时间
    innodb_log_files_in_group = 3 为提高性能,MySQL可以以循环的方式将日志文件写到多个文件。推荐设置为3
    innodb_max_dirty_pages_pct = 90 InnoDB主线程刷新缓存池中的数据
    innodb_lock_wait_timeout = 120 InnoDB事务被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。默认值为50秒
    innodb_file_per_table = 1 InnoDB为独立表空间模式,每个数据库的每个表都会生成一个数据空间。值为0表示关闭,值为1表示开启
    innodb_data_home_dir = /data/xxx InnoDB数据的存放路径
    innodb_log_group_home_dir = /data/xxx 日志分组的目录路径

    7.6.InnoDB引擎调优的基本方法

    1、主键应尽可能小,以避免对Secondary index带来过大的空间负担。
    2、建立有效索引避免全表扫描,因为会使用表锁。
    3、尽可能缓存所有的索引和数据,提高响应速度,减少磁盘IO消耗。
    4、在进行大批量小插入的时候,应尽量自己控制事务而不要使用autocommit自动提交。若有开关则可以控制提交方式。
    5、合理设置innodb_flush_log_at_trx_commit参数值,不要过度追求安全性。
    6、应避免主键更新,因为这会带来大量的数据移动。
    

    8.Memory存储引擎

    Memory就是内存的意思,因此Memory存储引擎(又称为heap引擎)的数据存储是放在内存(注意:由max_heap_table_size参数控制内存占用大小,默认为16MB。)中的,因此存取速度特别快,但是如果数据库宕机或重启,那么所有的数据就都会丢失,因此它比较适合用于存放临时表的数据,例如,discuz论坛数据库中的统计在线人数的session表采用的就是Memory引擎。Memory存储引擎默认采用的是Hash索引,而不像其他引擎(MyISAM和InnoDB)默认的是B-tree索引。

    Memory存储引擎在使用上也有一些限制,例如,仅支持表锁,不支持TEXT和B1OB数据类型,还有当存储变长字段(varchar)时按照定长字段(char)来进行的,这也会浪费一些内存空间。Memory存储引擎在企业工作中应用的不是很多。

    9.ARCHIVE存储引擎

    ARCHIVE的中文意思是归档,因此ARCHIVE适用于存放大量归档历史数据(可查询但不能删除)的保存。

    ARCHIVE引擎仅支持select、insert操作;MySQL5.1以后开始支持索引等操作。

    ARCHIVE引擎使用zlib无损数据压缩算法,压缩比可达10:1,可大量节省磁盘空间,设计ARCHIVE引擎的目标是提供高速的插入和压缩等功能。

    建立两个不同存储引擎的表,测试ARCHIVE存储引擎的表其占用空间的情况:

    首先建立一个MyISAM存储引擎的表,插入数据:

    create table t1 engine=myisam as select * from information_schema.columns;
    show table status like 't1'G
    

    再建立一个ARCHIVE引擎表,插入数据:

    create table t2 engine=archive as select * from information_schema.columns;
    

    数据文件形式:

    .ARZ是数据压缩文件,.frm是表结构定义文件
    

    10.NDB存储引擎

    NDB存储引擎是一个集群存储引擎,类似于oracle的RAC集群,但它是share nothing的架构,因此NDB能够提供更高级别的高可用和可扩展性。NDB的特点是数据全部存放在内存中,因此,通过主键进行查找的速度非常快。

    关于NDB,有一个问题需要注意,它的连接(join)操作是在MySQL数据库层完成的,而不是在存储引擎层完成的,这就意味着,复杂的Join操作需要巨大的网络开销,查询速度会很慢,在中小型企业中,NDB引擎的使用频率极少。

  • 相关阅读:
    python通过scapy编写arp扫描器
    red hat重置密码
    浅谈跨域劫持
    python中的socket
    利用Python进行端口扫描
    自己搜罗了一些感觉蛮有意思的爬虫相关的网站
    与py2neo的第一次接触
    基本上所有的库的列表都在这里了,传送门~~~
    关于neo4j初入门(5)
    关于neo4j初入门(4)
  • 原文地址:https://www.cnblogs.com/yanyanqaq/p/13164352.html
Copyright © 2020-2023  润新知