【hadoop2.6.0】用C++ 编写mapreduce

hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说，这真是个天大的好消息。

官网上hadoop streaming的介绍在：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/HadoopStreaming.html

我们用wordcount的例子来说明，输入文件我用的是从网上下载的哈利波特第七部的英文版，命名为h.txt

用C++写map程序，只要能够从标准输入中读取信息，并且能用标准输出来输出<key, value>键值对就行。

对于wordcount单词计数来说，map程序非常简单，只要把每个单词分别输出 后面再输出个1就行， 表示每个单词出现了1次

wordcount_map.cpp程序如下：

#include <iostream>
#include <string>
using namespace std;

int main(int argc, char** argv)
{
    string word;
    while(cin >> word)
    {
        cout << word << "/t" << "1" << endl;
    }
    return 0;
}

reduce程序要能够读取map的输出键值对，并且把key值（单词）相同的键值对做整合，并且输出整合后结果

wordcount_reduce.cpp程序如下：

#include <iostream>
#include <string>
#include <map>
using namespace std;

int main(int argc, char** argv)
{
    string key, num;
    map<string, int> count; 
    map<string, int>::iterator it;
    while(cin >> key >> num)
    {
        it = count.find(key);
        if(it != count.end())
        {
            it->second++;
        }
        else
        {
            count.insert(make_pair(key, 1));
        }
    }

    for(it = count.begin(); it != count.end(); it++)
    {
        cout << it->first << "/t" << it->second << endl;
    }
    return 0;
}

把两个.cpp文件编译为可执行文件，并且把这两个可执行文件放在hadoop根目录下

g++ -o mapperC wordcount_map.cpp
g++ -o reduceC wordcount_reduce.cpp

上传待处理文件h.txt到 hdfs 的 /user/kzy/input中

bin/hdfs dfs -put h.txt  /user/kzy/input

要运行hadoop streaming需要hadoop-streaming-2.6.0.jar，位置在hadoop-2.6.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar 开始我各种运行不了，就是因为新版本里面文件的位置和以前不一样了。

执行mapreduce,里面的选项我并不是完全理解，但是这样可以正常运行。 注意，老版本里的-jobconf 已经改名叫 -D 了

bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar  
-D  mapred.job.name="word count~"  
-input /user/kzy/input/h.txt 
-output /user/output/c++_out  
-mapper ./mapperC  
-reducer ./reduceC  
-file mapperC  -file reduceC 

查看结果，sort中 -k 2 表示用以tab为分隔符的第二个字段来排序 -n表示用数字形式排序 -r表示从大到小排序 显示结果前20行

bin/hadoop dfs -cat /user/output/c++_out/* | sort -k 2 -n -r|head -20

结果如下：