近日接手一个项目,对客服工作日志进行分析。数据量比较庞大,平均每月主表产生500W记录,
从表5000W。现在规划主、从表按月来分表,每个月产生一张以yyMM为名的表。因为目前看来,
分不同的表的粒度最小也只能以月为单位。考虑单月从表的数据量也特别巨大,结合sql2005的特点,
考虑对从表进行分区表操作。硬件情况是:Nehalem-EP双路,SAS 300G*4 (RAID 5)。目前对
如何划分文件组,每组文件数目举棋不定。
按照一般的规律,在不做分区表的情况下,最好按CPU的逻辑核心数设置文件组中文件数目,
具体到本项目,应该(假设主、从表共用一个文件组BigGroup)在BigGroup设置8个文件,
正好和CPU核心数对应,能很好的并发执行I/O操作。
如果采用分区表方案,假设从表按200W记录一个分区,就有25个分区。因为分区表必须
对应文件组,也就是有25个文件组。结合不做分区表时,并行I/O的思路,应该产生25*8=200
个文件。但是,感觉这样不妥。
1:可能会产生IO瓶颈,当对当月的从表数据分组统计时,会同时访问200个文件。
2:文件过多,管理维护难度增加。
目前思路比较混乱,暂放首页,请有相关经验的前辈指教一下。望dudu见谅!