一. SQL-Server数据存储基本单位
[文章排版比较乱,所以还请读者体谅一下,后续如果有时间会重新整理一下]这篇文章讨论的主题是索引,但在正式进入索引的内容前,想简单介绍一下关于SQL-Server数据存储的一些简单认识,这将帮助我们更好地理解索引的结构。在SQL-Server中,数据存储的基本单位是页,一页的大小是8KB(共8192字节)。
1. 页首
页首固定占用每个数据页的96字节,保存了页面系统信息。下表列出了部分具体信息:
pageID: 数据库中该页的文件编号和页编号
nextPage:如果该页位于一个页链中,则该字段表示下一页的文件编号和页编号
pervPage:如果该页位于一个页链中,则该字段表示上一页的文件编号和页编号
Metadata:ObjectId:该页所在对象的ID
indexId:该页的索引ID(0为数据页)
2. 行内数据的数据行
数据行是真实数据的存储区域。每一行的大小是不固定的,以Slot为单位,0开始编号,Slot0,Slot1依次类推。
3. 行偏移数组
用于记录该数据页中每个Slot的相对位置,便于快速定位Slot的位置。例如:行偏移数组槽0可以指向偏移0X60(96字节)的Slot0。行偏移数组的每个记录占两个字节。行偏移数组表示的是数据页上面的逻辑顺序。例如Slot0可以指向0X80,而Slot1可以指向0X60,实际存储的物理位置不一定按照(聚集索引)排序的。
二. 什么是索引
数据库索引是对表的一列或多列的值进行排序的一种结构,索引与表数据的关系类似于目录与书籍内容的关系。在SQL-Server中存在两种比较重要的索引,分别为聚集索引与非聚集索引,它们是以B+树组织保存的。
建立索引也要付出额外代价的: 索引需要占据额外的内存空间 (当创建一张新表table_name后,并插入数据,使用sp_spaceused(table_name)就可以查看当前索引使用了多少内存,但必须注意sp_spaceused是每个数据库都有的一个系统存储过程,在使用的时候必须指明要查询的数据库) ; 插入和修改数据需要涉及索引的改动,将花费更多的时间。
三. 为什么要使用索引
众所周知,数据查询是数据库一项使用非常频繁的操作,查询的快慢已成为了衡量系统好坏的一个重要标准,而合理地使用索引可以提高数据检索效率,改善数据库性能,加快数据访问速度。
四. 堆结构
1. 什么是堆结构
堆的本义是杂乱无章,无序的意思。对于未建立聚集索引的表,数据是没有遵循特定的某种规则排序的,表中的所有数据页就形成了堆结构。
2. 堆结构实例
--接下来的数据库语句操作都是一些简单的命令
--数据库为Test USE Test GO --创建一张table CREATE TABLE t1 ( t1_id INT NOT NULL ) GO --查看t1的使用情况 sp_spaceused t1
USE Test GO --sys.indexes是系统视图,当创建一张新表的时候,就会在sys.indexes中增加一条记录 --可以在http://msdn.microsoft.com/zhcn/library/ms173760(v=sql.100).aspx 中找到相关信息 SELECT * FROM sys.indexes WHERE object_id = OBJECT_ID('t1') GO --sys.sysindexes同样是系统视图 --可以在http://technet.microsoft.com/zh-cn/library/ms190283(v=sql.100).aspx 中找到相关信息 SELECT * FROM sys.sysindexes WHERE id = OBJECT_ID('t1') GO
sys.indexes中的记录type_desc明确指出了索引的类型是堆(HEAP)。
sys.sysindexes中的记录与数据页组织有莫大的关系,后面会继续讨论。indid=0表示这是堆。堆只需考虑FirstIAM的变化情况,可以看到这里FirstIAM的指针地址为0。
USE Test --接下来,插入一条记录 INSERT INTO t1(t1_id) VALUES (1) GO --重新查看内存使用情况 sp_spaceused t1 GO
这里可以明显地知道,数据插入的基本单位是数据页,即使插入的是一行数据,也占据一张数据页。后续插入数据的时候,如果当前的数据页还可以继续容纳的话,就插入到当前数据页中,不然就插入到一张新数据页中。但这里还是有一个疑问,为什么会有index_size呢?这里不是只插入了一条记录而已吗?这就要从堆的内部结构说起了。
USE Test GO --我们来继续查看sys.sysindexes,看下这条记录发生了什么变化 SELECT * FROM sys.sysindexes WHERE id = OBJECT_ID('t1') GO
这里的FirstIAM的指针地址发生了变化。
--查看页的基本信息
--前提条件:表中必须插入了数据
--所需参数:(数据库名,表名,-1表示显示全部IAM页,数据页, 索引页) DBCC IND (Test2,t1,-1)
PageType=1表示这是数据页,PageType=10表示这是IAM页。
什么是IAM页? IAM=Index Allocation Map,索引分配映射。IAM页的结构与数据页的结构基本相同。堆结构中,IAM是SQL-Server查找属于该表单所有范围的唯一方法。
那么FirstIAM的地址指针0X4F0000000100又是如何跟IAM页关联的呢? 首先必须拆分这个地址指针,从右往左读,两数字为一组,得到0X 00 01 00 00 00 4F。前两组表示文件编号(PageFID),即0X0001(1),后四组表示页编号(PagePID),即0X0000004F(79)。这样FirstIAM就与IAM页关联起来了。
USE Test GO DECLARE @i INT; SET @i = 10000; --插入10000条记录 WHILE @i>0 BEGIN INSERT INTO t1 (t1_id) VALUES (@i) SET @i = @i - 1 END GO --再次查看页的基本信息 DBCC IND(Test,t1,-1) GO
插入了10000条记录后,可以看到数据页增加了17页,而IAM页还是只有1页,这是因为IAM页最多可定位4GB的数据量。在堆结构中,PrevPagePID和NextPagePID都是0,数据页之间不存在链表关系,数据页的关系仅靠IAMPID维持着。
堆结构的查询示意图如下:
3. 堆结构全表扫描
SQL-Server在接到查询请求后,便会首先分析sys.sysindexes的索引标识符indid,堆结构的indid为0,这时就会查找另一个字段FirstIAM,找到IAM页链,便开始所有数据页的依次遍历查找过程。堆结构的表就像一个存放着乱七八糟的书而且没有排序好的书库,当要查询某一类型的书或某个范围内的书的时候,就只能从第一个书架开始找起,每一本书都要看,如果匹配就拿出来,直到最后一个书架都找完了。当书库的书成千上万的时候,这样的查找方式确实效率低下。
五. 索引的分类
1.聚集索引(CLUSTERED INDEX)
1) 什么是聚集索引
聚集索引定义了数据在表中存储的物理顺序。如果不止在一个列上定义了聚集索引,数据将按照在这些列上所指定的顺序而存储,先按第一列指定的顺序,再按第二列指定的顺序,以此类推。由于数据只能有一种实际存储方式,所以对于一张表来说聚集索引只能有一个。以经典的新华字典例子说起,新华字典中的字是按照拼音字母的先后顺序排序存储的,当我们要查‘安’字的时候,我们首先会在字典的拼音索引中找到‘an’读音所在的页码,并开始按序查找,如果找不到就表示新华字典中没有‘安’字。这就是聚集索引的工作原理。
2) 聚集索引结构
接下来将对这张结构图进行全面的分析。
SQL-Server在接到查询请求后,便会首先分析sys.sysindexes的索引标识符indid,可以看到聚集索引结构的indid=1,这时就会查找root的字段,而root指向的是聚集索引根级索引页。这里跟堆结构是有区别的,堆结构使用的字段是FirstIAM。
那什么是索引页呢?
索引页与文章开头讨论的数据页的结构几乎完全相同,也是8KB固定大小,使用96字节的页首,结尾处使用偏移数组。只是索引页存储的是索引记录,而数据页存储的是数据记录。
USE Test GO --创建一张表 CREATE TABLE t2 ( t2_id INT IDENTITY(1,1) NOT NULL, t2_c1 VARCHAR(10) NOT NULL ) --创建一个在列t2_id上的聚集索引 CREATE CLUSTERED INDEX ix_t2_id ON t2 (t2_id ASC) --插入4000行数据 DECLARE @i INT SET @i = 4000 WHILE @i>0 BEGIN INSERT INTO t2 (t2_c1) VALUES ('a') SET @i = @i - 1 END --查看sys.sysyindexes的使用情况 SELECT * FROM sys.sysindexes WHERE id = OBJECT_ID('t2') --使用DBCC IND查看页的使用情况 DBCC IND(Test,t2,-1)
indid=1表示这是一个聚集索引,与堆结构的FirstIAM转换规则一样,0X730000000100可以转化为(1:115),则指向的索引页的文件编号是1,页编号是115。
PagePID=115的行的PageType=2,表示这是一个索引页。IndexLevel表示索引的等级,数值越大表示离根节点越近。这里因为只插入了4000条数据,数据量较少,所以只需一个索引页。同时观察一下PageType=1的数据页,NextPagePID和PrePagePID将数据页串联成一个数据链表,和堆结构的数据页是有明显的区别的。这是B+树的一个特点所在,在此对B+树的结构就不多加讨论了。
可以看到建立了聚集索引的表也有一个IAM页,个人推测这个IAM页的作用是当删除聚集索引后,表变成了堆结构,这时就按堆结构的工作方式查询数据。
USE Test GO --这里可以使用PAGE命令查看页的具体情况 --参数(数据库名,FileID,PageID,3表示查看索引页信息) DBCC PAGE(Test,1,115,3)
可以看到,索引页共有10行,分别指向了10个页面,t2_id是索引键,ChlidPageId是指向数据页的页编号。
t2表的B+树结构如图:
这里因为插入的每一行数据都占据相同的大小,所以数据页呈规律递增,但实际应用情况下,插入的数据基本是不同的,就不会像这里一样出现规律性的递增了。当要查询t2_id=800的记录的时候,就在索引页中查找,由于405<800<809,所以就在索引键405指向的数据页中顺序查找,如果找得到就返回t2_id=800的记录,这样就避免了堆结构的全表扫描,提高了查询的效率。
2.非聚集索引(NONCLUSTERED INDEX)
1) 什么是非聚集索引
非聚集索引与表中的逻辑组织顺序无关,是以分离的结构存在的,所以在一个表中可以同时存在多个非聚集索引。同样以新华字典为例,当我们要查询一个不知道读音的字,比如查询‘张’字,这时可以通过查询偏旁部首找到它,并查到‘张’字所在的页面。具有相同偏旁部首的字是按照笔画的多少排序的,运用了键值对的方法,每个字的右边就跟上具体的页码。非聚集索引也是使用索引键和指向表数据的指针。
2) 非聚集索引结构
与聚集索引结构对比,非聚集索引结构同样是以B+树存储的。不同的是,indid字段>1,表示这是一个非聚集索引,非聚集索引中只有索引页,叶节点也是索引页,而聚集索引的叶节点是数据页;非聚集索引的每个索引行都指向具体的数据行。
3) 堆上的非聚集索引
USE Test GO --创建堆表 CREATE TABLE t3 ( t3_id INT IDENTITY(1,1) NOT NULL, t3_c1 VARCHAR(10) NOT NULL, ) --建立非聚集索引 CREATE NONCLUSTERED INDEX ix_t3_c1_nonclus ON t3 (t3_c1) --插入1000行数据 DECLARE @i INT DECLARE @num INT DECLARE @str VARCHAR(10) SET @i = 1000 WHILE @i > 0 BEGIN --设置插入字符个数 SET @num = CAST(RAND()*1000 AS INT)% 10 + 1 --字符串置空 SET @str = '' --插入随机字符 WHILE @num > 0 BEGIN SET @str += CHAR(CAST(RAND()*1000 AS INT)% 26 + 97) SET @num -= 1 END --插入t3表中 INSERT INTO t3 (t3_c1) VALUES (@str) SET @i -= 1 END --查看页的使用情况 DBCC IND(Test,t3,-1)
PageType=2表示这是非聚集索引。IndexLevel=1表示这是根节点页。
--查看根节点页的信息 DBCC PAGE(Test,1,356,3)
这里可以看到ChildPageId指向的是叶节点索引页,t3_c1是非聚集索引键,HEAP RID表示的是指针,指向真实的堆数据行。
--查看叶节点页的信息 DBCC PAGE(Test,1,343,3)
这里可以看到非聚集索引页是按照t3_c1的先后顺序排序的。HEAP RID的指针是有规律可循的,例如0X6301000001003700,前12位表示的是数据页编号和文件编号,后4位表示的是行编号,按照从右往左的顺序,以两位为一组,可以得到(1:355:55),表示文件编号为1,数据页编号为355,数据行编号为55。
堆上的聚集索引示意图:
4)聚集表中的非聚集索引
USE Test GO --创建表t4 表结构与t3类似 CREATE TABLE t4 ( t4_id INT IDENTITY(1,1) NOT NULL, t4_c1 VARCHAR(10) NOT NULL ) --建立聚集索引 CREATE CLUSTERED INDEX ix_t4_clus ON t4 (t4_id) GO --建立非聚集索引 CREATE NONCLUSTERED INDEX ix_t4_c1_nonclus ON t4 (t4_c1) GO USE Test GO --插入1000行数据 DECLARE @i INT DECLARE @num INT DECLARE @str VARCHAR(10) SET @i = 1000 WHILE @i > 0 BEGIN --设置插入字符个数 SET @num = CAST(RAND()*1000 AS INT)% 10 + 1 --字符串置空 SET @str = '' --插入随机字符 WHILE @num > 0 BEGIN SET @str += CHAR(CAST(RAND()*1000 AS INT)% 26 + 97) SET @num -= 1 END --插入t3表中 INSERT INTO t4 (t4_c1) VALUES (@str) SET @i -= 1 END --查看页的使用情况 DBCC IND(Test,t4,-1)
我们可以看到IndexID=1,PageType=2,IndexLevel=1的索引页就是根聚集索引页,而IndexID=2,PageType=2,IndexLevel的索引页就是根非聚集索引页。
--查看非聚集索引根节点页的信息 DBCC PAGE(Test,1,367,3)
非聚集索引有聚集索引的键值,这就将非聚集索引与聚集索引联系起来了。这里的UNIQUIFIER(key),是做为一个唯一标识,因为聚集索引可以设定为不唯一,这个标识就能区分出相同的聚集索引键。
--查看非聚集索引叶节点页的信息 DBCC PAGE(Test,1,363,3)
当需要定位到指定的t4_id的时候,数据库就是用聚集索引查找的方法搜索聚集索引B+树,找到最终的数据。