大数据处理

一分钟产生40万条数据，大概是400MB，期间要有其它程序处理这些数据。最初采用了Redis和MySQL，因为有读有写，发现写库根本来不及。最后采用的方式是：先缓存数据在内存，将每10万条数据进行序列化，写文件（7200转的硬盘，每秒写100MB），另外一程序解析文件，处理数据（处理完数据没那么多了），之后存库。