一个子目录里放100W个文件及SQL Server File Stream中放100W文件，会怎么样？

如果我有100W个小文件，每个接近100K，然后我要放到一个目录里面，NTFS的子目录是否能够承受住单个目录存放100W的文件？如果采用sql server 2008的File Stream功能呢？我们知道SQL Server 2008启用了Filestream的字段的表，是一个字段放到一个子目录，如果我100W条记录都放在一个表里面，对应磁盘上仍然是1个子目录会有100W个文件。那结果会怎样？

在很多流言中，有一些认为一个子目录存放超过10W的文件会产生不稳定的情况，通常在遇到这种场景，都直接建议采用分级目录存放，包括我们在一个表里面插入100W条记录。但是windows ntfs和sql server真的有这么差吗？当然不会，我们知道sql server 2008即使管理100T数据也没有问题。而网上最广泛的流言之一就是Oracle的性能比sql server的性能好，这个流言是在sql server 2000的时候产生的，那个时候是事实，但是sql server 2005已经改变了这一状况，而sql server 2008则彻底颠覆了这种情况，但是，流言，仍然继续的流传了下来（看看最新的TPC-E排名：http://www.tpc.org/tpce/results/tpce_perf_results.asp ，TPC-E可是比TPC-C的更新的基准测试哦)。还有一个著名的流言就是SharePoint列表中不要存放超过2000条记录，否则将引起性能的严重下降，这个流言在SharePoint 2003的时候是属实的，但是在SharePoint 2007里面就已经改善了，流言也仍然传了下来。

首先说一下今天要讨论的场景，既然要在sql server 2008里面存放100W个文件，那么显然这是一个服务端应用，而不是一个客户端应用，因为没有人会手动的从100W个文件中去挑选什么。我的测试环境如下：

OS: Windows Server 2008 R2

硬盘： SATA 日立 1T 7200转

CPU：双核 2G

数据库： SQL Server 2008 Enterprise(MSDN license)

可用内存：足够大（不会出产生内存不足而导致的额外硬盘交换，占用IO的情况）

　　测试文件大小：90K，也即将插入90K的文件100W份，相当于将这个文件复制了100W份。

真正的服务器一般采用SCSI高速硬盘，所以IO状态会比我的测试机器好很多，而这台机器是我的开发用机，在1T的硬盘上还有3个虚机在同时运行，所以相对而言IO是比较差的。如果在我这台机器上能够承受的住，我相信在真正的服务器上都不会有任何问题。

测试代码：

代码

1 static void Main(string[] args)
2         {
3             SqlConnection conn = new SqlConnection("Data Source=.;Initial Catalog=NorthPole;Integrated Security=SSPI;");
4             conn.Open();
5             SqlCommand cmd = new SqlCommand();
6             cmd.Connection = conn;
7             cmd.CommandText = "AddFile";
8             cmd.CommandType = System.Data.CommandType.StoredProcedure;
9
10             DateTime begin = DateTime.Now;
11             for (int i = 1; i < 100001; i++)
12             {
13                 cmd.ExecuteNonQuery();
14                 Console.WriteLine("{0} rows are inserted!", i);
15             }
16             DateTime end = DateTime.Now;
17             conn.Close();
18
19             TimeSpan t = end - begin;
20             Console.WriteLine("{0} Days, {1} Hours, {2} Minutes, {3} Seconds", t.Days, t.Hours, t.Minutes, t.Seconds);
21             Console.ReadLine();
22         }
23

里面的AddFile是存储过程：

代码

ALTER PROCEDURE [dbo].[AddFile]
AS
BEGIN
    -- SET NOCOUNT ON added to prevent extra result sets from
    -- interfering with SELECT statements.
    SET NOCOUNT ON;

    DECLARE @img AS VARBINARY(MAX)

-- Load the image data

SELECT @img = CAST(bulkcolumn AS VARBINARY(MAX))

      FROM OPENROWSET(

            BULK

            'D:\temp\test.jpg',

            SINGLE_BLOB ) AS x



-- Insert the data to the table

INSERT INTO Items (ItemID, ItemImage)

SELECT NEWID(), @img
END

我首先插入了10W条记录到数据库中，执行结果如下：