股票数据存储系统（KeyValue存储）设计与实现

　　HBase中的HFile采用了与本文类似的设计，数据分块存储，块的索引存放在文件末尾。

　　Kafka中每个topic划分为多个partition存储，partition又划分为多个segment；每个segment由索引文件index和数据文件log组成，index中每个索引块的大小为8Bytes，每个索引块包含offset和position，position指明某条message在log文件中的偏移量。

　　Redis的内部映射数据结构ziplist其实做了相同的事情，有两个差别：1、ziplist将数据写入内存，这里是写入文件；2、ziplist没有索引区，每个数据块记录自己的大小以及前一个数据块的大小。

　　----------------------------------------------------------------------------------------------------------------

　　该系统用来存储每日股票交易数据，数据按日期分块线性存储，日期看做是每块数据的Key，总体结构如下。文件头中记录版本号等信息，最重要的一个信息是已存数据块数，每次增加、删除数据后需更新。

　　索引区存储数据块的索引信息，每个索引有如下三个属性：数据大小、日期和起始位置。当打开文件加载到内存时，索引区会被首先加载；查找某日数据时，根据日期对内存中的索引做一次二分查找，得到数据块在文件中的起始位置和数据大小（终止位置），通过一次硬盘查找就能读取该块数据。

　　0.总体设计

class CXFSXFile {

public:
    CXFSXFile();
    virtual ~CXFSXFile();
     
    bool openFile(const string& path);
    
    bool get(vector<char>& contents, const int date);
    
    bool remove(const int date);
    
    bool insert(const char* s, const int size, const int date);

    int howManyData();    

private:   
    void createFile();
    void loadFile();

    bool ifDataExist(const int date);
    void updateFileHeader();
    void updateIndexFeild();    

    bool append(const char* s, const int size, const int date);

    ... ...

    int m_numberOfBlocksUsed;

    static const int M_SizeOfIndexItem;
    static const int M_StartPosForIndex;
    static const int M_StartPosForData;

    struct SIndexItem;

    string m_filePath;
    fstream m_xfsxFile;

    vector<SIndexItem> m_arrayOfIndex;
    
    friend bool compareIndexItem(const SIndexItem& a, const SIndexItem& b);
    friend class CModifyPos;

};

　　1.功能代码

　　索引块实现：

struct CXFSXFile::SIndexItem{
    SIndexItem(const int sizeOfBlock, const int date, const int startPos):_sizeOfBlock(sizeOfBlock), _date(date), _startPos(startPos)
    {}

    SIndexItem() {
        memset(this, 0, sizeof(SIndexItem)); }

    int _sizeOfBlock;
    int _date;
    int _startPos;
};

　　索引块比较（按时间） &  索引更新（内存中）：

bool compareIndexItem(const CXFSXFile::SIndexItem& a, const CXFSXFile::SIndexItem& b) {
    return (a._date < b._date);
}

class CModifyPos {
public:
    CModifyPos(int n):posOffset(n) {}

    void operator() (CXFSXFile::SIndexItem& item) {
    item._startPos += posOffset;
    }

private:
    int posOffset;
};

　　2.初始化代码 & 更新代码

　　初始化代码主要负责提取文件头及索引块中的有用信息；更新代码在每次添加、删除数据后更新文件头及索引。

　　更新索引（文件中）：

void CXFSXFile::updateIndexFeild() {

    for(int i=0; i<m_arrayOfIndex.size(); i++)
    {
        int theSize = m_arrayOfIndex[i]._sizeOfBlock;
        int theDate = m_arrayOfIndex[i]._date;
        int thePos = m_arrayOfIndex[i]._startPos;

        m_xfsxFile.seekp(M_StartPosForIndex + M_SizeOfIndexItem * i);
        m_xfsxFile.write((char*)(&theSize), sizeof(int));

        m_xfsxFile.seekp(M_StartPosForIndex + M_SizeOfIndexItem * i + 4);
        m_xfsxFile.write((char*)(&theDate), sizeof(int));

        m_xfsxFile.seekp(M_StartPosForIndex + M_SizeOfIndexItem * i + 8);
        m_xfsxFile.write((char*)(&thePos), sizeof(int));
    }

    m_xfsxFile.flush();
}

　　3.主要接口实现

　　包含了数据的读取、添加和删除；数据添加的逻辑稍复杂，其中包含了添加到末尾（append）、覆盖、中间插入等不同情形。

　　判断一数据块是否存在（以时间为Key做二分查找）：

bool CXFSXFile::ifDataExist(const int date) {

    if(m_numberOfBlocksUsed == 0)
        return false;

    SIndexItem tep(0, date, 0);

    return binary_search(m_arrayOfIndex.begin(), m_arrayOfIndex.end(), tep, compareIndexItem);
}

　　读取数据：

bool CXFSXFile::get(vector<char>& contents, const int date) {
    contents.clear();
    if(!ifDataExist(date))
        return false;

    SIndexItem tep(0, date, 0);
    vector<SIndexItem>::iterator itr;
    itr = lower_bound(m_arrayOfIndex.begin(), m_arrayOfIndex.end(), tep, compareIndexItem);

    int pos = (*itr)._startPos;
    int size = (*itr)._sizeOfBlock;

    contents.resize(size, '0');
    m_xfsxFile.seekg(pos);
    m_xfsxFile.read((char*)&contents[0], size);

    return true;
}