• Sql 2005 千万级数据库IO规划


          近日接手一个项目,对客服工作日志进行分析。数据量比较庞大,平均每月主表产生500W记录,
    从表5000W。现在规划主、从表按月来分表,每个月产生一张以yyMM为名的表。因为目前看来,
    分不同的表的粒度最小也只能以月为单位。考虑单月从表的数据量也特别巨大,结合sql2005的特点,
    考虑对从表进行分区表操作。硬件情况是:Nehalem-EP双路,SAS 300G*4 (RAID 5)。目前对
    如何划分文件组,每组文件数目举棋不定。

        按照一般的规律,在不做分区表的情况下,最好按CPU的逻辑核心数设置文件组中文件数目,
    具体到本项目,应该(假设主、从表共用一个文件组BigGroup)在BigGroup设置8个文件,
    正好和CPU核心数对应,能很好的并发执行I/O操作。
          如果采用分区表方案,假设从表按200W记录一个分区,就有25个分区。因为分区表必须
    对应文件组,也就是有25个文件组。结合不做分区表时,并行I/O的思路,应该产生25*8=200
    个文件。但是,感觉这样不妥。
       1:可能会产生IO瓶颈,当对当月的从表数据分组统计时,会同时访问200个文件。
       2:文件过多,管理维护难度增加。
    目前思路比较混乱,暂放首页,请有相关经验的前辈指教一下。望dudu见谅!

  • 相关阅读:
    Spring-data-jpa 笔记(一)
    grpc详解 java版
    快速入门正则表达式
    异常的处理
    一位资深程序员大牛给予Java初学者的学习路线建议
    this用法
    静态代码块与非静态代码块
    类的成员变量--构造器
    Java并发机制及锁的实现原理
    JAVA内存模型
  • 原文地址:https://www.cnblogs.com/Alvin/p/1493742.html
Copyright © 2020-2023  润新知