• Libevent:9Evbuffers缓存IO的实用功能


            Libevent的evbuffer功能实现了一个字节队列,优化了在队列尾端增加数据,以及从队列前端删除数据的操作

            Evbuffer用来实现缓存网络IO中的缓存部分。它们不能用来在条件发生时调度IO或者触发IO:这是bufferevent做的事情。

            本章介绍的函数,除了特别注明的,都是在文件“event2/buffer.h”中声明。

     

    一:创建或者释放evbuffer

    struct  evbuffer  *evbuffer_new(void);

    void  evbuffer_free(struct  evbuffer *buf);

            evbuffer_new分配并且返回一个新的空evbuffer,evbuffer_free删除evbuffer及其所有内容。

     

    二:evbuffer和线程安全

    int  evbuffer_enable_locking(struct  evbuffer *buf,  void *lock);

    void  evbuffer_lock(struct  evbuffer  *buf);

    void  evbuffer_unlock(struct  evbuffer  *buf);

            默认情况下,同一时间在多个线程中访问evbuffer是不安全的。如果需要多线程使用evbuffer,可以在evbuffer上调用evbuffer_enable_locking函数。如果lock参数为NULL,则Libevent使用提供给               evthread_set_lock_creation_callback的锁创建函数来分配一个新锁。否则,使用该参数作为新锁。

            evbuffer_lock() 和evbuffer_unlock()函数在evbuffer上进行加锁和解锁。可以使用它们将一些操作原子化。如果evbuffer上没有使能锁机制,则这些函数不做任何事。

            注意:不需要在单个操作上调用evbuffer_lock() evbuffer_unlock():如果evbuffer上使能了锁机制,单个操作已经是原子性的了。只在有多余一个操作需要执行,且不希望其他线程打断时,才需要手动锁住evbuffer。

     

    三:检查evbuffer

    size_t  evbuffer_get_length(const  struct  evbuffer *buf);

            该函数返回evbuffer中存储的字节数。

     

    size_t  evbuffer_get_contiguous_space(const  struct  evbuffer *buf);

            该函数返回evbuffer前端的连续存储的字节数。evbuffer中的字节存储在多个分离的内存块中;该函数返回当前存储在evbuffer中的第一个内存块中的字节数

     

    四:向evbuffer中添加数据:基础

    int  evbuffer_add(struct  evbuffer  *buf,  const void  *data,  size_t datlen);

            该函数向buf的末尾添加缓冲区data中的datlen个字节。该函数成功时返回0,失败时返回-1。

     

    int  evbuffer_add_printf(struct  evbuffer *buf,  const  char *fmt, ...)

    int  evbuffer_add_vprintf(struct  evbuffer  *buf,  const char  *fmt,  va_list ap);

            这些函数向buf中添加格式化的数据。format参数以及后续的其他参数类似于C库中的printf和vprintf函数中的参数。这些函数返回添加到buf中的字节数。

     

    int  evbuffer_expand(struct  evbuffer  *buf,  size_t datlen);

            扩展evbuffer的可用空间,该函数会改变buffer中的最后一个内存块,或者添加一个新的内存块,buffer的可用空间扩展到至少datlen个字节。扩展buffer到足够大,从而在不需要进行更多的分配情况下就能容纳datlen个字节。

    /* Here are two ways to add"Hello world 2.0.1" to a buffer. */

    /* Directly: */

    evbuffer_add(buf,  "Hello world 2.0.1",  17);

     

    /* Via printf: */

    evbuffer_add_printf(buf,  "Hello %s %d.%d.%d",  "world", 2, 0, 1);

            

    五:evbuffer之间的数据移动

            基于性能的考虑,Libevent优化了在evbuffer间移动数据的功能。

    int  evbuffer_add_buffer(struct  evbuffer *dst,  struct  evbuffer*src);

    int  evbuffer_remove_buffer(struct  evbuffer *src,  struct  evbuffer *dst,

        size_t  datlen);

            evbuffer_add_buffer函数将src中的所有数据移动到dst的尾端。该函数成功时返回0,失败时返回-1.

            evbuffer_remove_buffer函数将src中的datlen个字节的数据移动到dst的末尾,并且尽量少的复制。如果数据量少于datlen,则移动所有数据。该函数返回移动的数据量。

     

    六:向evbuffer的前端添加数据

    int  evbuffer_prepend(struct  evbuffer  *buf,  const void  *data,  size_t size);

    int  evbuffer_prepend_buffer(struct  evbuffer  *dst,  struct evbuffer *  src);

            这些函数类似于evbuffer_add()和 evbuffer_add_buffer(),只不过它们是将数据移动到目标buffer的前端。

            这些函数要小心使用,不能用在由bufferevent共享的evbuffer上。

     

    七:重新安排evbuffer的内部布局

            有时候希望能够查看(但不取出)evbuffer前端的前N个字节,并将其视为一个连续存储的数组。为此,必须首先保证buffer的前端确实是连续的。

    unsigned  char  *evbuffer_pullup(struct evbuffer  *buf,  ev_ssize_t size);

            evbuffer_pullup函数将buf的最前面的size个字节“线性化”,通过对其复制或者移动,保证这些字节的连续性并且都存储在同一个内存块中。如果size是个负数,则该函数会将整个buffer进行线性化。如果size大于buffer中的字节数,则该函数返回NULL,否则,该函数返回指向第一个字节的指针。

            以一个较大的size调用evbuffer_pullup会很慢,因为可能需要复制整个buffer的内容。

    #include  <event2/buffer.h>

    #include  <event2/util.h>

     

    #include  <string.h>

     

    int  parse_socks4(struct  evbuffer  *buf,  ev_uint16_t  *port,  ev_uint32_t *addr)

    {

        /* Let's parse the start of a SOCKS4request!  The format is easy:

         * 1 byte of version, 1 byte of command, 2bytes destport, 4 bytes of

         * destip. */

        unsigned  char  *mem;

     

        mem = evbuffer_pullup(buf,  8);

     

        if (mem == NULL) {

            /*Not enough data in the buffer */

            return 0;

        } else if (mem[0] != 4 || mem[1] != 1) {

            /* Unrecognized protocol or command */

            return -1;

        } else {

            memcpy(port,  mem+2,  2);

            memcpy(addr,  mem+4,  4);

            *port = ntohs(*port);

            *addr = ntohl(*addr);

            /* Actually remove the data from thebuffer now that we know we

               like it. */

            evbuffer_drain(buf, 8);

            return 1;

        }

    }

            注意,使用evbuffer_get_contiguous_space的返回值作为size,调用evbuffer_pullup,则不会引起任何字节的复制或者移动

     

    八:从evbuffer中移除数据

    int  evbuffer_drain(struct  evbuffer  *buf,  size_t len);

    int  evbuffer_remove(struct  evbuffer  *buf,  void  *data, size_t  datlen);

            evbuffer_remove函数复制并且移动buf前端的datlen个字节到data。如果buf中的字节数少于datlen个,则该函数会复制所有的字节。该函数失败返回-1,否则返回复制的字节数。

            evbuffer_drain()函数类似于evbuffer_remove,不同的是它不复制任何数据,而只是删除buffer前端的数据。该函数成功返回0,失败返回-1。

            

    九:复制evbuffer中的数据

            有时希望只是复制buffer前端的数据而不删除它。比如,你可能希望确认某种类型的完整记录是否已经到达,而不删除任何数据(就像evbuffer_remove的动作),也不对buffer内部做任何重新部署(就像evbuffer_pullup那样)

    ev_ssize_t  evbuffer_copyout(struct  evbuffer  *buf,  void *data,  size_t  datlen);

    ev_ssize_t  evbuffer_copyout_from(struct  evbuffer  *buf,

         const  struct  evbuffer_ptr *pos,

         void  *data_out,  size_t  datlen);

            evbuffer_copyout函数类似于evbuffer_remove,但是并不删除buffer中的任何数据。也就是说,它只是复制buf前端的前datlen个字节到data。如果buffer中少于datlen个字节,则该函数复制所有存在的字节。该函数失败时返回-1,成功时返回复制的字节数。

     

            evbuffer_copyout_from函数类似于evbuffer_copyout,但它不是复制buffer前端的数据,而是以pos指明的位置为起点进行复制。参考“在evbuffer中搜索”一节,查看evbuffer_ptr结构的更多信息。

            如果从buffer中复制数据太慢,则可以使用evbuffer_peek函数。

    #include  <event2/buffer.h>

    #include  <event2/util.h>

    #include  <stdlib.h>

    #include  <stdlib.h>

     

    int  get_record(struct  evbuffer  *buf,  size_t *size_out,  char  **record_out)

    {

        /* Let's assume that we're speaking someprotocol where records

           containa 4-byte size field in network order, followed by that

           number of bytes.  We will return 1 and set the 'out' fields ifwe

           have a whole record, return 0 if the recordisn't here yet, and

           -1 on error.  */

        size_t  buffer_len = evbuffer_get_length(buf);

        ev_uint32_t  record_len;

        char  *record;

     

        if (buffer_len < 4)

           return 0; /* The size field hasn'tarrived. */

     

       /* We use evbuffer_copyout here so that thesize field will stay on

           the buffer for now. */

        evbuffer_copyout(buf,  &record_len,  4);

        /* Convert len_buf into host order. */

        record_len = ntohl(record_len);

        if (buffer_len  <  record_len+ 4)

            return 0; /* The record hasn't arrived*/

     

        /* Okay, _now_ we can remove the record. */

        record = malloc(record_len);

        if (record == NULL)

            return -1;

     

        evbuffer_drain(buf,  4);

        evbuffer_remove(buf,  record,  record_len);

     

        *record_out = record;

        *size_out = record_len;

        return 1;

    }

     

    十:基于行的输入

    enum  evbuffer_eol_style {

            EVBUFFER_EOL_ANY,

            EVBUFFER_EOL_CRLF,

            EVBUFFER_EOL_CRLF_STRICT,

            EVBUFFER_EOL_LF,

            EVBUFFER_EOL_NUL

    };

    char  *evbuffer_readln(struct  evbuffer  *buffer,  size_t  *n_read_out,

        enum  evbuffer_eol_style  eol_style);

            很多互联网协议使用基于行的格式。evbuffer_readln函数evbuffer的前端取出一行,并且将其复制返回到一个新的以NULL为结尾的字符串中。如果n_read_out非空,则将*n_read_out置为返回字符串的长度。如果buffer中没有可读的一整行,则该函数返回NULL。注意,行结束符不包含在返回的复制字符串中

            evbuffer_readln函数可以处理4种行结束符:

            EVBUFFER_EOL_LF:行末尾是单个的换行符(也就是“ ”,ASCII值为0x0A);

            EVBUFFER_EOL_CRLF_STRICT:行末尾是回车符和换行符。(也就是” ”,他们的ASCII码分别为0x0D  0x0A)。

            EVBUFFER_EOL_CRLF:行末尾是一个可选的回车符,跟着一个换行符。(也就是说,是” ”或者” ”)。这种格式在解析基于文本的互联网协议中是很有用的,因为一般而言,协议标准都规定以” ”作为行结束符,但是不符合标准的客户端有时候会使用” ”。

            EVBUFFER_EOL_ANY:行的结尾是任何顺序任何数量的回车符和换行符。这种格式不太常用,它的存在只是为了向后兼容性。

            EVBUFFER_EOL_NUL:行结束符是单个的0字节,也就是ASCII中的NULL字节。

            注意,如果使用了event_set_mem_functions函数替代默认的malloc,则函数evbuffer_readln 返回的字符串将由指定的malloc替代函数进行分配。

    char  *request_line;

    size_t  len;

     

    request_line =evbuffer_readln(buf,  &len,  EVBUFFER_EOL_CRLF);

    if (!request_line) {

        /*The first line has not arrived yet. */

    } else {

        if (!strncmp(request_line,  "HTTP/1.0 ",  9)) {

            /* HTTP 1.0 detected ... */

        }

       free(request_line);

    }

     

     

    十一:在evbuffer中搜索

            evbuffer_ptr结构指向evbuffer内部的某个位置,该结构包含可以用来遍历evbuffer的成员。

    struct  evbuffer_ptr {

            ev_ssize_t  pos;

            struct {

                    /* internal fields */

            } _internal;

    };

            pos成员是唯一公开的成员;其他成员不能在用户代码中使用。pos指向相对于evbuffer首地址的偏移位置。

     

    struct  evbuffer_ptr  evbuffer_search(struct  evbuffer  *buffer,

    const  char  *what, size_t  len,  const struct  evbuffer_ptr  *start);

     

    struct  evbuffer_ptr  evbuffer_search_range(struct  evbuffer  *buffer,

        const  char  *what, size_t  len,  const struct  evbuffer_ptr  *start,

    const  struct  evbuffer_ptr *end);

     

    struct  evbuffer_ptr  evbuffer_search_eol(struct  evbuffer  *buffer,

        struct  evbuffer_ptr  *start,  size_t  *eol_len_out,

        enum  evbuffer_eol_style  eol_style);

                       evbuffer_search函数在buffer中扫描长度为len的what字符串的位置。如果能找到该字符串,则返回的evbuffer_ptr结构中的pos指明该字符串的位置,否则pos为-1。如果提供了start参数,则该参数指定开始搜索的位置;如果没有提供,则表明从从buffer的开头开始搜索。

            evbuffer_search_range函数类似于evbuffer_search,但它只在buffer中end参数指明的位置之前进行搜索。

            evbuffer_search_eol函数,类似于evbuffer_readlen,探测行结束符,只是该函数并不复制该行。该函数返回evbuffer_ptr结构,其中的pos指明了行结束符的起始地址。如果eol_len_out不是NULL,则其被置为EOL字符串的长度。

     

    enum  evbuffer_ptr_how {

            EVBUFFER_PTR_SET,

            EVBUFFER_PTR_ADD

    };

    int  evbuffer_ptr_set(struct  evbuffer  *buffer,  struct  evbuffer_ptr *pos,

        size_t  position,  enum  evbuffer_ptr_how how);

            evbuffer_ptr_set函数设置evbuffer_ptr结构posbuffer中的某个位置。如果how为EVBUFFER_PTR_SET,则pos移动到buffer中的position位置,如果是EVBUFFER_PTR_ADD,pointer向后移动position个字节。因此,如果pos没有初始化的话,则how参数只能为EVBUFFER_PTR_SET。该函数成功时返回0,失败是返回-1.

    #include  <event2/buffer.h>

    #include  <string.h>

     

    /*Count the total occurrences of 'str' in 'buf'. */

    int  count_instances(struct  evbuffer  *buf,  const char  *str)

    {

        size_t  len = strlen(str);

        int  total= 0;

        struct  evbuffer_ptr  p;

     

        if (!len)

            /* Don't try to count the occurrencesof a 0-length string. */

            return  -1;

     

       evbuffer_ptr_set(buf, &p,  0,  EVBUFFER_PTR_SET);

     

        while (1) {

             p = evbuffer_search(buf, str, len,&p);

             if (p.pos < 0)

                 break;

             total++;

            evbuffer_ptr_set(buf, &p, 1, EVBUFFER_PTR_ADD);

        }

     

        return total;

    }

            警告:任何改变evbuffer以及其布局的调用都会使evbuffer_ptr的值失效,使用失效的evbuffer_ptr是不安全的

     

    十二:检查数据而不进行复制

            有时希望在不复制出数据的情况下读取evbuffer中的数据,而且不对evbuffer内部的内存进行重新部署。有时候希望能够检查evbuffer中部的数据,可以使用下面的接口:

    struct  evbuffer_iovec {

            void  *iov_base;

            size_t  iov_len;

    };

     

    int  evbuffer_peek(struct  evbuffer  *buffer,  ev_ssize_t  len,

        struct  evbuffer_ptr  *start_at,

        struct  evbuffer_iovec  *vec_out,  int  n_vec);

            当调用evbuffer_peek函数时,在vec_out中给定一个evbuffer_iovec结构的数组。数组长度为n_vec。该函数设置数组中的结构体,使每个结构体的iov_base都指向evbuffer内部的一个内存块,并且将iov_len置为内存块的长度。

            如果len小于0,则evbuffer_peek函数会尽可能的设置所有给定的evbuffer_iovec结构。否则,要么至少填充len个字节到evbuffer_iovec中,要么将所有evbuffer_iovec都填充满。如果该函数能够得到所有请求的字节,则该函数将返回实际使用的evbuffer_iovec结构的个数,否则,它返回为了能得到所有数据而需要的evbuffer_iovec的个数。

            如果ptr为NULL,则evbuffer_peek从buffer的起始处开始取数据,否则,从start_at参数开始取数据。

    {

        /* Let's look at the first two chunks of buf, and writethem to stderr. */

        int  n,i;

        struct  evbuffer_iovec  v[2];

        n = evbuffer_peek(buf,  -1,  NULL, v,  2);

        for (i=0;  i<n;  ++i) { /* There might be less than two chunksavailable. */

            fwrite(v[i].iov_base,  1,  v[i].iov_len, stderr);

        }

    }

     

    {

        /* Let's send the first 4906 bytes tostdout via write. */

        int  n, i, r;

        struct  evbuffer_iovec  *v;

        size_t  written = 0;

     

        /* determine  how  many chunks  we  need. */

        n = evbuffer_peek(buf,  4096,  NULL, NULL,  0);

        /* Allocate space for the chunks.  This would be a good time to use

           alloca() if you have it. */

        v = malloc(sizeof(struct  evbuffer_iovec) * n);

        /* Actually fill up v. */

       n = evbuffer_peek(buf,  4096,  NULL, v,  n);

        for (i=0; i<n; ++i) {

           size_t  len = v[i].iov_len;

            if (written + len > 4096)

                len = 4096 - written;

            r = write(1 /* stdout */,  v[i].iov_base,  len);

            if (r<=0)

                break;

            /* We keep track of the bytes writtenseparately; if we don't,

               we may write more than 4096 bytes ifthe last chunk puts

               us over the limit. */

            written += len;

        }

        free(v);

    }

     

    {

        /*Let's get the first 16K of data after the first occurrence of the

           string "start ", and pass itto a consume() function. */

        struct  evbuffer_ptr ptr;

        struct  evbuffer_iovec  v[1];

        const  char s[] = "start ";

        int  n_written;

     

        ptr  = evbuffer_search(buf,  s,  strlen(s), NULL);

        if (ptr.pos == -1)

            return; /* no start string found. */

     

        /* Advance the pointer past the start string.*/

        if (evbuffer_ptr_set(buf,  &ptr,  strlen(s),  EVBUFFER_PTR_ADD) < 0)

            return; /* off the end of the string.*/

     

        while (n_written < 16*1024) {

            /* Peek at a single chunk. */

            if (evbuffer_peek(buf, -1, &ptr, v,1) < 1)

                break;

            /* Pass the data to some user-definedconsume function */

            consume(v[0].iov_base,  v[0].iov_len);

            n_written  +=  v[0].iov_len;

     

            /* Advance the pointer so we see thenext chunk next time. */

            if (evbuffer_ptr_set(buf,  &ptr,  v[0].iov_len,  EVBUFFER_PTR_ADD)<0)

                break;

        }

    }

            注意:编辑由evbuffer_iovec指向的数据可能会导致未定义的行为

            如果调用了修改evbuffer的函数,则evbuffer_peek中的指针会变得无效;

            如果evbuffer在多线程中使用,则调用evbuffer_peek之前应该使用evbuffer_lock进行加锁,而且一旦使用完evbuffer_peek返回的内存块,则需要解锁

     

    十三:直接向evbuffer中添加数据

            如果需要向evbuffer中直接插入数据,而不是像evbuffer_add那样,先写入一个字符数组,然后再将字符数组复制到evbuffer中。可以使用下面的函数:evbuffer_reserve_space() 和evbuffer_commit_space()。类似于evbuffer_peek,这些函数使用evbuffer_iovec结构来直接访问evbuffer中的内存。

    int  evbuffer_reserve_space(struct  evbuffer *buf,  ev_ssize_t  size,

        struct  evbuffer_iovec  *vec,  int n_vecs);

    int  evbuffer_commit_space(struct  evbuffer  *buf,

        struct  evbuffer_iovec  *vec,  int n_vecs)

            evbuffer_reserve_space函数扩充buf的最后一个内存块的空间,返回evbuffer内部空间的指针。它会将buffer的可用空间扩充到至少size个字节;指向这些扩充的内存块的指针以及内存块长度将会存储在vec结构中,n_vec指明了该数组的长度。

            n_vec至少为1,如果只给定了一个vector,则Libevent会保证将所有请求的连续空间填充到一个内存块中,但是这样会对buffer重新布局,或者会浪费内存。如果想要更好的性能,则至少应该提供2个vector,该函数返回请求空间需要的vector个数。

            写入到这些vector中的数据,直到调用evbuffer_commit_space之前,都不算是buffer的一部分,该函数会使vector中的数据成为buffer中的数据。如果希望提交少于请求的数据,可以减少任一evbuffer_iovec结构体的iov_len,或者还可以传递较少的vector。evbuffer_commit_space函数成功时返回0,失败时返回-1。

     

            注意:调用任何重新布局evbuffer的函数,或者向evbuffer添加数据,会使得从evbuffer_reserve_space返回的指针变得无效。

            在当前的实现中,evbuffer_reserve_space不会使用多余两个的vector,而不管用户提供了多少,或许会在未来版本中有所改变。

            调用多次evbuffer_reserve_space是安全的。

            如果evbuffer在多线程中使用,则在调用evbuffer_reserve_space函数之前应该使用evbuffer_lock函数进行加锁,并且一旦commit会后就解锁。

    /*Suppose  we  want to fill a buffer with 2048 bytes ofoutput from a

       generate_data() function, without copying.*/

    struct  evbuffer_iovec  v[2];

    int  n, i;

    size_t  n_to_add = 2048;

     

    /* Reserve 2048 bytes.*/

    n = evbuffer_reserve_space(buf, n_to_add,  v,  2);

    if (n<=0)

       return; /* Unable to reserve the space forsome reason. */

     

    for (i=0;  i<n && n_to_add > 0;  ++i) {

       size_t  len = v[i].iov_len;

       if (len > n_to_add) /* Don't write morethan n_to_add bytes. */

          len = n_to_add;

       if (generate_data(v[i].iov_base,  len) < 0) {

          /* If there was a problem during datageneration, we can just stop

             here; no data will be committed to thebuffer. */

          return;

       }

       /* Set iov_len to the number of bytes weactually wrote, so we

          don't commit too much. */

       v[i].iov_len = len;

    }

     

    /* We commit the spacehere.  Note that we give it 'i' (thenumber of

       vectors we actually used) rather than 'n'(the number of vectors we

       had available. */

    if(evbuffer_commit_space(buf,  v,  i)< 0)

       return; /* Error committing */

    Bad Examples

    /* Here are some mistakes youcan make with evbuffer_reserve().

       DO NOT IMITATE THIS CODE. */

    struct evbuffer_iovec v[2];

     

    {

      /*Do not use thepointers from evbuffer_reserve_space() after

         calling any functions that modify thebuffer.*/

      evbuffer_reserve_space(buf,  1024,  v, 2);

      evbuffer_add(buf, "X", 1);

      /* WRONG: This next line won't work ifevbuffer_add needed to rearrange

         the buffer's contents.  It might even crash your program.Instead,

         you add the data before callingevbuffer_reserve_space. */

      memset(v[0].iov_base, 'Y', v[0].iov_len-1);

      evbuffer_commit_space(buf, v, 1);

    }

     

    {

      /*Do not modify theiov_base pointers. */

      const char *data = "Here is somedata";

      evbuffer_reserve_space(buf, strlen(data), v,1);

      /* WRONG: The next line will not do what youwant.  Instead, you

        should _copy_ thecontents of data into v[0].iov_base. */

      v[0].iov_base = (char*) data;

      v[0].iov_len = strlen(data);

      /* In this case, evbuffer_commit_space mightgive an error if you're

         lucky */

      evbuffer_commit_space(buf, v, 1);

    }

     

    十四:用evbuffer进行网络IO

            Libevent中evbuffer最常见的用途是用来进行网络IO。evbuffer上执行网络IO的接口是:

    int  evbuffer_write(struct  evbuffer  *buffer,  evutil_socket_t  fd);

    int  evbuffer_write_atmost(struct  evbuffer  *buffer,  evutil_socket_t  fd,

            ev_ssize_t  howmuch);

    int  evbuffer_read(struct  evbuffer  *buffer,  evutil_socket_t  fd,  int howmuch);

            evbuffer_read函数从fd中读取howmuch个字节buffer的尾端。他返回成功读取的字节数,遇到EOF时返回0,发生错误返回-1。注意发生错误有可能表明一个非阻塞的操作失败了;可以通过检查错误码是否为EAGAIN(在Windows上为WSAEWOULDBLOCK )来确定。如果howmuch参数为负数,则evbuffer_read自己决定读取多少字节。

            evbuffer_write_atmost函数尝试从buffer的前端发送howmuch字节到fd。该函数返回成功写入的字节数,失败时返回-1。与evbuffer_read类似,需要检查错误码确定是否确实发生了错误,还是仅表明非阻塞IO不能立即执行。如果howmuch为负数,则会尝试发送整个buffer的内容。

    调用evbuffer_write,等同于以负数howmuch调用函数evbuffer_write_atmost:它会尽可能的刷新buffer。

            在Unix上,这些函数可以工作在任何支持读写的文件描述符上,但是在Windows上,仅能用在socket上。

    注意,当使用bufferevent时,不需要调用这些IO函数,bufferevent会替你调用他们。

            

    十五:evbuffer和回调函数

            使用evbuffer时,经常会想知道数据何时添加到或者移除出evbuffer。Libevent提供了一般性的evbuffer回调机制支持这种需求。

    struct  evbuffer_cb_info {

            size_t  orig_size;

            size_t  n_added;

            size_t  n_deleted;

    };

     

    typedef  void ( *evbuffer_cb_func)(struct  evbuffer  *buffer,

        const  struct  evbuffer_cb_info *info,  void  *arg);

            当数据添加到或者移除出evbuffer的时候,就会调用evbuffer 的回调函数。该函数的参数是buffer,指向evbuffer_cb_info结构体的指针,以及一个用户提供的参数。evbuffer_cb_info结构的orig_size成员记录了buffer大小改变之前,buffer中的字节数;n_added成员记录了添加到buffer的字节数;n_deleted记录了移除的字节数。

            

    struct  evbuffer_cb_entry;

    struct  evbuffer_cb_entry  *evbuffer_add_cb(struct  evbuffer  *buffer,

        evbuffer_cb_func  cb,  void *cbarg);

            evbuffer_add_cb函数向evbuffer中添加回调函数,并且返回一个非透明的指针,该指针后续可以用来引用该特定的回调实例。cb参数就是会调用的回调函数,cbarg是用来传递给该函数的用户提供的参数。

            在单个evbuffer上可以有多个回调函数,添加新的回调不会删除旧的回调函数

    #include  <event2/buffer.h>

    #include  <stdio.h>

    #include  <stdlib.h>

     

    /*Here's a callback that remembers how many bytes we have drained in

       total from the buffer, and prints a dotevery time we hit a

       megabyte. */

    struct  total_processed {

        size_t  n;

    };

    void  count_megabytes_cb(struct  evbuffer  *buffer,

        const  struct  evbuffer_cb_info  *info,  void *arg)

    {

        struct  total_processed  *tp = arg;

       size_t  old_n = tp->n;

        int  megabytes, i;

       tp->n += info->n_deleted;

        megabytes = ((tp->n) >> 20) -(old_n >> 20);

        for (i=0; i<megabytes; ++i)

            putc('.', stdout);

    }

     

    void  operation_with_counted_bytes(void)

    {

        struct  total_processed  *tp = malloc(sizeof(*tp));

        struct  evbuffer  *buf = evbuffer_new();

        tp->n = 0;

       evbuffer_add_cb(buf, count_megabytes_cb,  tp);

     

        /* Use the evbuffer for a while.  When we're done: */

        evbuffer_free(buf);

        free(tp);

    }

            注意,释放一个非空evbuffer并不算作从中抽取数据,而且释放evbuffer也不会释放其回调函数的用户提供的数据指针。

     

            如果不希望一个回调函数永久的作用在buffer上,可以将其移除(永久移除),或者禁止(暂时关闭)

    int  evbuffer_remove_cb_entry(struct  evbuffer  *buffer,

       struct  evbuffer_cb_entry  *ent);

    int  evbuffer_remove_cb(struct  evbuffer  *buffer,  evbuffer_cb_func  cb,

        void  *cbarg);

     

    #define  EVBUFFER_CB_ENABLED  1

    int  evbuffer_cb_set_flags(struct  evbuffer  *buffer,

                              struct  evbuffer_cb_entry  *cb,

                              ev_uint32_t  flags);

    int  evbuffer_cb_clear_flags(struct  evbuffer  *buffer,

                              struct  evbuffer_cb_entry  *cb,

                              ev_uint32_t  flags);

            可以通过添加时得到的evbuffer_cb_entry来删除回调,或者使用回调函数本身以及用户提供的参数指针来删除回调。evbuffer_remove_cb函数成功时返回0,失败时返回-1。

            evbuffer_cb_set_flags和evbuffer_cb_clear_flags函数可以在相应的回调函数上,设置或者移除给定的标志位。当前只支持一个用户可见的标志:EVBUFFER_CB_ENABLED。默认设置该标志,当清除该标志时,evbuffer上的修改不会再调用回调函数了。

     

    int  evbuffer_defer_callbacks(struct  evbuffer  *buffer,  struct  event_base *base);

            类似于bufferevent的回调函数,可以当evbuffer改变时不立即运行evbuffer的回调,而是使其延迟并作为event_base的event loop的一部分进行调用。如果有多个evbuffer,它们的回调函数会将数据从一个添加(或移除)到另外一个的时候,这种延迟机制是有帮助的,可以避免栈崩溃。

            如果evbuffer的回调函数被延迟了,在在其最终调用时,他们会对多个操作的结果进行聚合。

            类似于bufferevent,evbuffer有内部引用计数,所以即使evbuffer尚有未执行的延迟回调,释放它也是安全的。

     

    十六:避免在基于evbuffer的IO上复制数据

            真正快速的网络程序会尽可能少的复制数据。Libevent提供了一些机制来满足这种需求。

    typedef  void (*evbuffer_ref_cleanup_cb)(const  void  *data,

        size_t  datalen,  void  *extra);

     

    int  evbuffer_add_reference(struct  evbuffer  *outbuf,

        const  void  *data, size_t  datlen,

        evbuffer_ref_cleanup_cb  cleanupfn,  void  *extra);

            该函数通过引用向evbuffer的尾端添加数据:没有进行复制,相反的,evbuffer仅仅保存指向包含datlen个字节的data的指针。因此,在evbuffer使用它期间,该指针应该保持是有效的。当evbuffer不再需要该数据的时候,它会以data,datlen和extra为参数,调用用户提供的cleanupfn函数。该函数成功时返回0,失败时返回-1。

    #include  <event2/buffer.h>

    #include  <stdlib.h>

    #include  <string.h>

     

    /* In this example, we have a bunch of evbuffers that we want to use to

       spool a one-megabyte resource out to thenetwork.  We do this

       without keeping any more copies of theresource in memory than

       necessary. */

     

    #define  HUGE_RESOURCE_SIZE  (1024*1024)

    struct huge_resource {

        /* We keep a count of the references thatexist to this structure,

           so that we know when we can free it. */

        int  reference_count;

        char  data[HUGE_RESOURCE_SIZE];

    };

     

    struct  huge_resource * new_resource(void) {

        struct  huge_resource  *hr = malloc(sizeof(struct  huge_resource));

       hr->reference_count= 1;

        /* Here we should fill hr->data with something.  In real life,

           we'd probably load something or do acomplex calculation.

          Here, we'll just fill it with EEs. */

        memset(hr->data,  0xEE,  sizeof(hr->data));

        return  hr;

    }

     

    void  free_resource(struct  huge_resource  *hr) {

        --hr->reference_count;

        if (hr->reference_count == 0)

            free(hr);

    }

     

    static  void  cleanup(const void  *data,  size_t len,  void  *arg){

        free_resource(arg);

    }

     

    /* This is the function thatactually adds the resource to the

       buffer. */

    voidspool_resource_to_evbuffer(struct  evbuffer *buf,  struct  huge_resource *hr)

    {

        ++hr->reference_count;

        evbuffer_add_reference(buf,  hr->data,  HUGE_RESOURCE_SIZE,  cleanup,  hr);

    }

     

    十七:向evbuffer中添加文件

            一些操作系统提供了将文件写入到网络中,而不需要复制数据到用户空间中的方法。可以通过简单的接口访问这些机制:

    int  evbuffer_add_file(struct  evbuffer  *output,  int fd,  ev_off_t  offset,

        size_t  length);

            evbuffer_add_file函数假设已经有一个用来读的打开的文件描述符fd。该函数从该文件的offset位置开始,读取length个字节,写入到output的尾端。该函数成功时返回0,失败是返回-1。

            警告:在Libevent2.0.x中,通过这种方式添加的数据,仅有下面几种操作数据的方式是可靠的:通过evbuffer_write*函数将数据发送到网络中;通过evbuffer_drain函数进行抽取数据,通过evbuffer_*_buffer函数将数据移动到其他evbuffer中。下列操作是不可靠的:通过evbuffer_remove函数从buffer中抽取数据;通过evbuffer_pullup线性化数据等等。Libevent2.1.x会修复这些限制。

            如果操作系统支持splice和sendfile函数,则在调用evbuffer_write时,Libevent直接使用这些函数发送fd中的数据到网络中,而不需要将数据复制到用户内存中。如果不存在splice或sendfile函数,但是有mmap函数,则Libevent会对文件做mmap,并且内核会知道不需要将数据复制到用户空间。如果上述函数都不存在的话,则Libevent会将数据从磁盘读取到内存中。

            当文件中的数据刷新到evbuffer之后,或者当释放evbuffer时,就会关闭文件描述符。如果不希望关闭文件,或者希望对文件有更细粒度的控制,则可以参考下面的文件段(file_segment)功能。

     

    十八:对文件段(file_segment)进行更细粒度的控制

            如果需要多次添加同一个文件,则evbuffer_add_file是低效的,因为它会占有文件的所有权。

    struct  evbuffer_file_segment;

     

    struct  evbuffer_file_segment  *evbuffer_file_segment_new(

           int fd,  ev_off_t  offset,  ev_off_t  length,  unsigned  flags);

    void  evbuffer_file_segment_free(struct  evbuffer_file_segment  *seg);

    int  evbuffer_add_file_segment(struct  evbuffer  *buf,

        struct  evbuffer_file_segment  *seg,  ev_off_t offset,  ev_off_t  length);

            evbuffer_file_segment_new函数创建并返回一个evbuffer_file_segment对象,该对象代表了存储在文件fd中的,以offset为起点,共有length个字节的文件段。该函数如果发生错误时返回NULL

            文件段通过sendfile、splice、mmap、CreateFileMapping或malloc()-and_read()中合适的函数进行实现。它们使用系统支持的最轻量级的机制进行创建,并且在需要的时候会过渡到重量级的机制上。(比如,如果系统支持sendfile和mmap,则会仅使用sendfile实现文件段,直到真正需要检查文件段内容时,在这一刻,会使用mmap),可以通过下列标志更加细粒度的控制文件段的行为:

            EVBUF_FS_CLOSE_ON_FREE:如果设置了该标志,则通过函数evbuffer_file_segment_free释放文件段将会关闭底层文件。

            EVBUF_FS_DISABLE_MMAP:如果设置了该标志,则文件段将永远不会使用mmap类型的后端(CreateFileMapping,mmap),即使它们非常合适。

            EVBUF_FS_DISABLE_SENDFILE:如果设置了该标志,则文件段将永远不会使用sendfile类型的后端(sendfile,splice),即使它们非常合适。

            EVBUF_FS_DISABLE_LOCKING:如果设置了该标志,则不会在文件段上分配锁:在多线程环境中使用文件段将是不安全的。

            一旦得到一个evbuffer_file_segment结构,则可以使用evbuffer_add_file_segment函数将其中的一部分或者所有内容添加到evbuffer中。这里的offset参数是指文件段内的偏移,而不是文件内的偏移。

            当不再使用文件段时,可以通过evbuffer_file_segment_free函数进行释放。但是其实际的存储空间不会释放,直到再也没有任何evbuffer持有文件段部分数据的引用为止。

     

    typedef  void (*evbuffer_file_segment_cleanup_cb)(

        struct  evbuffer_file_segment  const  *seg, int  flags,  void *arg);

     

    void  evbuffer_file_segment_add_cleanup_cb(struct  evbuffer_file_segment  *seg,

            evbuffer_file_segment_cleanup_cb  cb,  void *arg);

            可以在文件段上添加一个回调函数,当文件段的最后一个引用被释放,并且文件段被释放时,该回调函数被调用。该回调函数决不能在试图重新将该文件段添加到任何buffer上。

            

    十九:通过引用将evbuffer添加到另一个evbuffer中

            可以通过引用将evbuffer添加到另一个evbuffer中:而不是移动一个evbuffer中内容到另一个evbuffer中,当将evbuffer的引用添加到另一个evbuffer中时,它的行为类似于复制了所有字节。

    int  evbuffer_add_buffer_reference(struct  evbuffer  *outbuf,

        struct  evbuffer  *inbuf);

            evbuffer_add_buffer_reference函数的行为类似于复制outbuf中的所有数据到inbuf中,但是它却不会执行任何不必要的复制。该函数成功时返回0,失败是返回-1。

            注意,inbuf内容后续的变化将不会反馈到outbuf中:该函数是通过引用添加evbuffer当前的内容,而不是evbuffer本身。

            注意,不能嵌套buffer的引用:如果一个evbuffer是evbuffer_add_buffer_reference函数中的outbuf,则其不能作为另一个的inbuf。

     

    二十:使一个evbuffer仅能添加或者仅能移除

    int  evbuffer_freeze(struct  evbuffer  *buf,  int at_front);

    int  evbuffer_unfreeze(struct  evbuffer  *buf,  int at_front);

            可以使用这些函数暂时性的禁止evbuffer前端或后端的改变。bufferevent会在内部使用这些函数,用来防止输出缓冲区前端,或者输入缓冲区后端的意外改变。

     

    二十一:过时的evbuffer函数

            在Libevent2.0中,evbuffer的接口发生了很多变化。在此之前,每一个evbuffer都是通过一连续的内存块实现的,这使得访问非常低效。

            event.h头文件以前会暴露evbuffer结构的内部,但是现在不会了;在1.4到2.0之前,任何依赖于它们进行工作的代码都被改变了。

            为了访问evbuffer中的字节数,使用EVBUFFER_LENGTH宏,使用EVBUFFER_DATA()宏得到实际的数据。这些宏都定义在event2/buffer_compat.h中。小心,EVBUFFER_DATA(b)是evbuffer_pullup(b,-1)的别名,它是非常昂贵的。

     

            下面的接口已经不推荐使用了:

    char  *evbuffer_readline(struct  evbuffer *buffer);

    unsigned  char  *evbuffer_find(struct  evbuffer  *buffer,

        const  unsigned  char  *what,  size_t len);

            evbuffer_readline函数类似于当前的evbuffer_readln(buffer,NULL, EVBUFFER_EOL_ANY)。

            evbuffer_find()函数会寻找buffer中what字符串的第一次出现,并且返回指向它的指针。不像evbuffer_search,它只会寻找第一个匹配的字符串。为了兼容仍使用该函数的老代码,它现在会将直到本地字符串的结尾的整个buffer进行线性化。

     

            回调的接口也不再相同(废弃的接口):

    typedef  void  (*evbuffer_cb)(struct evbuffer  *buffer,

        size_t  old_len,  size_t  new_len, void  *arg);

    void  evbuffer_setcb(struct  evbuffer  *buffer,  evbuffer_cb  cb,  void *cbarg);

            同一时刻一个evbuffer只能有一个回调函数,所以设置新的回调函数会移除前一个回调,并且设置回调为NULL,则是移除回调函数的首选方法。

            不再是取得evbuffer_cb_info_structure结构,该函数以evbuffer的旧长度和新长度来调用。因此,如果old_len大于new_len,则数据被抽取,如果new_len大于old_len,则数据被添加。不能将回调延迟,所以,在一次回调中不能将添加和删除进行批量化。

            这些过时的函数仍然定义在event2/buffer_compat.h中。

     

    http://www.wangafu.net/~nickm/libevent-book/Ref7_evbuffer.html

  • 相关阅读:
    string与wstring之间的转换
    QTableWidget去除选中虚边框
    在新机器部署Qt+mysql程序
    Qt文件路径分隔符
    MySQL通过增加用户实现远程连接数据库
    Qt 配置文件QSettings读取以及中文问题
    git config proxy
    ubuntu14.04 us sources.list
    How to keep Environment Variables when Using SUDO
    ubuntu hash sum mismatch error
  • 原文地址:https://www.cnblogs.com/gqtcgq/p/7247254.html
Copyright © 2020-2023  润新知