C++ Thrift Client 与 Flume Thrift Source 对接

项目需要C++代码与flume对接，进而将日志写入HDFS。
flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。
但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。
一怒之下，重写代码了，使用C++与远端的JAVA Flume对接。

在协议的选择上，AVRO C++虽然也有apache的开源项目，但是目前只支持读写文件，而不能使用RPC。
故使用了thrift与远端Flume thrift source通信。
以下是一些实现的具体方法：

Flume thrift 协议准备：

1. 安装thrift，安装flume。
2. 下载flume的source包，解压。
3. 在解压目录flume-ng-sdk/src/main/thrift下，存在文件flume.thrift。
    这是flume的thrift协议规则文件，执行命令：thrift -r --gen cpp ./flume.thrift
    在./gen-cpp/目录下会生成一些.h .cpp文件，之后C++代码中需要调用其中的方法进行RPC通信。

    注意：如果是在windows/visual studio下开发，由于ERROR与关键词冲突，需要对flume.thrift修改。

    enum Status {
    OK,
    FAILED,
    FERROR, //原先是ERROR，修改为FERROR。
    UNKNOWN
    }

    如果是linux下工作，则无需改动任何代码。

C++ 代码实现：

1. include一些头文件，以及使用thrift的名字空间

#include <thrift/protocol/TBinaryProtocol.h>
#include <thrift/protocol/TCompactProtocol.h>
#include <thrift/transport/TSocket.h>
#include <thrift/transport/TTransportUtils.h>

using namespace std;
using namespace apache::thrift;
using namespace apache::thrift::protocol;
using namespace apache::thrift::transport;

2. 创建thrift的socket, transport, protocol, client.

class ThriftClient{
    private:
    /* Thrift protocol needings... */
    boost::shared_ptr<TTransport> socket;
    boost::shared_ptr<TTransport> transport;
    boost::shared_ptr<TProtocol> protocol;
    ThriftSourceProtocolClient* pClient;
}

    ThriftClient::ThriftClient(std::string inIpAddress, std::string inPort):
        socket(new TSocket(inIpAddress.c_str(), atoi(inPort.c_str()))),
        transport(new TFramedTransport(socket)),
        protocol(new TCompactProtocol(transport))
    {
        pClient = new ThriftSourceProtocolClient(protocol);
    }

3. 与远端flume thrift source通信： 

      bool ThriftClient::sendEvent(const Event* event)
      {
          //build the head
          std::map<std::string, std::string>  headers;
          std::ostringstream timeBuffer;
          timeBuffer << event->timestamp <<"000";
          headers.insert(std::make_pair("timestamp", timeBuffer.str()));
          headers.insert(std::make_pair("appId", appId));
          //build the body
          std::ostringstream  osBody;
          osBody << *event;
          std::string sBody = osBody.str();
 
          ThriftFlumeEvent tfEvent;
          tfEvent.__set_body(sBody);
          tfEvent.__set_headers(headers);
          if(!transport->isOpen())
          {
              transport->open();
          }
          Status::type res=pClient->append(tfEvent);
          if(res == Status::OK)
          {
              return true;
          }
          else
          {
              printf("WARNING: send event via thrift failed, return code:%d
",res);
              return false;
          }
      }

其他注意点：

1. append方法用来发送一条event：

Status::type ThriftSourceProtocolClient::append(const ThriftFlumeEvent& event)

  同时还有一个方法appendBatch用来一次发送多个event：

Status::type ThriftSourceProtocolClient::appendBatch(const std::vector<ThriftFlumeEvent> & events)

2. 无论是append还是appendBatch方法，都是阻塞方法。

3. 可能可以通过send_append，send_appendBatch来发送无需确认成功的event(未测试)。

void ThriftSourceProtocolClient::send_append(const ThriftFlumeEvent& event)

void ThriftSourceProtocolClient::send_appendBatch(const std::vector<ThriftFlumeEvent> & events)

4. Thrift只提供协议RPC功能，并没有提供flume的channel功能，以及多个source的情况下的load balance功能。这些都需要自己实现。

关于性能：

测试环境： vmware+ubuntu，i3-4150 CPU, 配置1G内存，双核CPU。

在本机配置两个flume thrift source（load balance），网络回环。

在每条event大约50字符的情况下，可以达到16000条每秒的吞吐量，此时CPU被耗尽（两个flume thrift source大约占用30%CPU）。