消息队列的设计

在网络服务器的设计中,经常使用多进程/多线程.这就涉及到在进程/线程间共享数据.

现在我们假设一个场景,一个进程/线程负责处理网络收发,一个或多个进程/线程处理

收到的网络数据包.

显然,我们可以在每一对协作进程/线程间添加一个队列,将数据添加到队列中,以实现

两个进程/线程的协作.

我们的消息队列主要的设计目标有三个:

1)要可以使用在进程与进程和线程与线程之间.当在进程之间通信时,我们的消息队列

将会被放在共享内存中.

2)避免使用锁机制,其一方面原因是锁的开销较大,另一方面是因为,对于在共享内存中

使用消息队列时.如果一个进程获得锁之后崩溃,另一个进程将得不到任何的通知.当它

要获得锁的时候,将会阻塞在永远不会被释放的锁上(unix like的系统).

3)可向队列中加入变长的消息,减少memcopy的次数.

基于以上目标,每一个消息队列只能有一个写者,一个读者,以避免锁的使用.

消息队列用数组实现循环队列.数组中的每个元素是以下结构:

template<int MsgSize>
struct msgBlock
{
    int next;     //下一个块的下标,如果是最后一个block,则==-1
    int totalSize;//整个消息的大小,仅对消息中的第一个块有效
    int size;     //本块有效数据大小
    char msg[MsgSize];
    int getAvaSize(char *p)
    {
        return MsgSize - int(p - msg);
    }
    msgBlock():next(-1),totalSize(0),size(0){}
};

每个完整的消息都是由1个或连续数个msgBlock组成.这样就可以实现在消息队列中传递

变长的消息包.

  

消息队列的接口如下: 

struct wPos
{
    int blk;
    char *pos;
    wPos():blk(-1),pos(NULL){}
};
template<int MsgSize = 1024,int QueueSize = 4096>  //MsgSize,每个block的大小,QueueSize,最大消息数
class MsgQueue
{
public:
    template<typename T>
    int WriteNum(const T val);
    template<typename T>
    int ReWriteNum(wPos *pos,const T val);
    int WriteString(char *str);
    int WriteBin(void *bin,int len);
    wPos getWPos();
    /*
    * brief: 向队列提交一个完整的消息
    */
    void MsgPush();
    /*
    * brief : 读出一条完整的消息
    */
    int MsgPop(void *buf);
    //返回队列中第一个msg的大小
    int GetFirstMsgSize();
};

为了减少内存的考贝,可以通过write函数簇直接向消息队列中写入数值型,string,和二进制数据.

当所有的数据都写完后,调用MsgPush将把这个消息包提交到队列中.

通过MsgPop可以获取一个完成的消息.还提供了rewrite接口,以修改已经写入队列的数值型数据.

以下是完整的程序:

#ifndef _MSGQUEUE_H
#define _MSGQUEUE_H
#include <assert.h>
/*
* brief : 消息队列,作为线程/进程间通信的消息队列,实现单读单写,无需加锁.
*         对于进程间通信,使用共享内存实现.
*
*/
template<int MsgSize>
struct msgBlock
{
    int next;
    int totalSize;//整个消息的大小,仅对消息中的第一个块有效
    int size;//本块有效数据大小
    char msg[MsgSize];
    int getAvaSize(char *p)
    {
        return MsgSize - int(p - msg);
    }
    msgBlock():next(-1),totalSize(0),size(0){}
};
struct wPos
{
    int blk;
    char *pos;
    wPos():blk(-1),pos(NULL){}
};
template<int MsgSize = 1024,int QueueSize = 4096>
class MsgQueue
{
public:
    MsgQueue():idx_read(0),idx_write(0),curblk(0),pCurWrite(msgQueue[0].msg),saveTotalSize(0){}
    template<typename T>
    int WriteNum(const T val)
    {
        return Write(&val,(int)sizeof(T));
    }
    template<typename T>
    int ReWriteNum(wPos *pos,const T val)
    {
        return ReWrite(pos,&val,(int)sizeof(T));
    }
    int WriteString(char *str)
    {
        return Write(str,(int)strlen(str)+1);
    }
    int WriteBin(void *bin,int len)
    {
        return Write(bin,len);
    }
    wPos getWPos()
    {
        wPos ret;
        if((curblk + 1)%QueueSize == idx_read)
            return ret;
        ret.blk = curblk;
        ret.pos = pCurWrite;
        return ret;
    }
    /*
    * brief: 一条完整的消息已经完成写入队列
    */
    void MsgPush()
    {
        if((idx_write+1)%QueueSize == idx_read)
            return;
        msgQueue[idx_write].totalSize = saveTotalSize;
        msgQueue[curblk].next = -1;
        idx_write = (curblk+1)%QueueSize;
        pCurWrite = msgQueue[idx_write].msg;
        curblk = idx_write;
        saveTotalSize = msgQueue[idx_write].size = 0;
        msgQueue[idx_write].next = -1;
    }
    /*
    * brief : 读出一条完整的消息
    */
    int MsgPop(void *buf)
    {
        assert(buf);
        if(idx_read == idx_write)
            return 0;
        int tmp_cur = idx_read;
        
        char *pWrite = (char*)buf;
        int totalSize = msgQueue[tmp_cur].totalSize;
        for( ; ; )
        {
            msgBlock<MsgSize> &curBlock = msgQueue[tmp_cur];
            memcpy(pWrite,curBlock.msg,curBlock.size);
            pWrite += curBlock.size;
            tmp_cur = (tmp_cur+1)%QueueSize;
            if(curBlock.next == -1)
                break;
        }
        idx_read = tmp_cur;
        return totalSize;
    }
    //返回队列中第一个msg的大小
    int GetFirstMsgSize()
    {
        if(idx_read == idx_write)
            return 0;
        return msgQueue[idx_read].totalSize;
    }
private:
    int ReWrite(wPos *pos,const void *buf,int size)
    {
        assert(buf);
        assert(size>0);
        int tSize = size;
        msgBlock<MsgSize> *msgBlk = &msgQueue[pos->blk];    
        char *pRead = (char *)buf;
        while(tSize)
        {        
            int avaSize = msgBlk->getAvaSize(pos->pos);
            //当前block空间已经用完,需要使用第二个block的空间
            if(avaSize == 0)
            {
                pos->blk = (pos->blk + 1) % QueueSize;
                msgBlk = &msgQueue[pos->blk];
                avaSize = MsgSize;
                pos->pos = msgBlk->msg;
            }
            int writesize = avaSize > size ? size : avaSize;
            
            memcpy(pos->pos,pRead,writesize);
            pos->pos += writesize;
            pRead += writesize;
            tSize -= writesize;
        }
        
        return size;
    
    }
    /*
    * brief: 向队列中写入数据,这些数据只是消息中的一部分,当所有数据都写完,调用MsgWrite.
    */
    int Write(const void *buf,int size)
    {
        assert(buf);
        assert(size>0);
        //已经没有空间可供写入
        if((curblk + 1)%QueueSize == idx_read)
            return 0;
        int tSize = size;
        msgBlock<MsgSize> *msgBlk = &msgQueue[curblk];    
        char *pRead = (char *)buf;
        while(tSize)
        {        
            int avaSize = msgBlk->getAvaSize(pCurWrite);
            //当前block空间已经用完,需要使用第二个block的空间
            if(avaSize == 0)
            {
                int next = (curblk + 1) % QueueSize; 
                if(next == idx_read)//空间用完了
                {
                    curblk = idx_write;
                    pCurWrite = msgQueue[idx_write].msg;
                    saveTotalSize = 0;
                    return 0;
                }
                msgBlk->next = curblk = next;
                msgBlk = &msgQueue[curblk];
                avaSize = MsgSize;
                msgBlk->size = 0;
                pCurWrite = msgBlk->msg;
            }
            int writesize = avaSize > size ? size : avaSize;
            
            memcpy(pCurWrite,pRead,writesize);
            pCurWrite += writesize;
            pRead += writesize;
            saveTotalSize += writesize;
            msgBlk->size += writesize;
            tSize -= writesize;
        }
        return size;
    }
private:
    int idx_read;//读下标
    int idx_write;//写下标
    
    char *pCurWrite;//当前写指针
    int   curblk;//当前写所在的块
    int   saveTotalSize;
    msgBlock<MsgSize> msgQueue[QueueSize];
};