Mac OS Hadoop Mahout安装

Mac OS Hadoop Mahout安装

1. 下载Hadoop，Mahout：

  可以直接从labs.renren.com/apache-mirror/hadoop和labs.renren.com/apache-mirror/mahout下载

2. 配置Hadoop配置文件：

  (1) core-site.xml:

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000/</value>  
    </property>  
</configuration>  

  (2) mapred-site.xml

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
  <property>  
    <name>mapred.job.tracker</name>  
    <value>localhost:9001</value>  
  </property>  
</configuration>  

  (3) hdfs-site.xml

<?xml version="1.0"?>  
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  
<!-- Put site-specific property overrides in this file. -->  
  
<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>  
</configuration>  

  (4) 在 hadoop-env.sh文件末尾加入以下配置信息：

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home 
export HADOOP_INSTALL=/Users/alex/Documents/DevRes/hadoop-0.21.0 
export PATH=$PATH:$HADOOP_INSTALL/bin 

3. 配置SSH

  在系统偏好设置->共享里勾选'远程登录'选项

  配置无密钥登陆：

  (1) 生成密钥(公钥)：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

  ssh-keygen代表生成密钥；-t表示指定生成的密钥类型；dsa是dsa密钥认证的意思，即密钥类型；-P用于提供密语；-f指定生成的密钥文件

  (2) 把公钥加入认证文件中：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 

  设置完成后用SSH登陆本机就不会要求输入密码

4. 运行Hadoop：

  格式化：

bin/hadoop namenode -format

  启动所有进程：

bin/start-all.sh

  如果报错：

Unable to load realm info from SCDynamicStore 

  则在hadoop-env.sh文件末尾加入：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

5. 测试WordCount

  首先生成输入文件input.txt:

hello world
hello hadoop

  在HDFS下创建目录input：

bin/hadoop fs -mkdir input

  将输入文件放入该目录中：

bin/hadoop fs -put input.txt input

  执行Hadoop自带的example.jar中的WordCount：

bin/hadoop jar hadoop-version-example.jar wordcount input output

  运行结果会放入output文件夹中，显示该文件夹中的信息：

bin/hadoop fs -ls output

  会显示三个文件：_SUCCESS,_logs,part-r-00000,真正的结果存放在part-r-00000中：

bin/hadoop fs -cat output/part-r-00000

  最终的结果为：

hadoop    1
hello    2
world    1

6. 配置Mahout：

  在/etc/profile文件末尾加入以下配置信息

export=JAVA_HOME/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home 
export MAHOUT_HOME=/path/to/mahout

  执行bin/mahout --help,如果有帮助信息则说明安装成功

7. 在Eclipse中配置Hadoop和Mahout

  (1) 配置Hadoop和在别的OS下配置Hadoop一样，都是将Hadoop的Eclipse-plugin的jar包导入Eclipse的plugin文件夹，然后在Eclipse的preference->Hadoop Map/Reduce下配置Hadoop的安装路径

  (2) 配置好Hadoop后，新建一个Map/Reduce工程，然后将mahout目录下的core,core-job,math,util四个jar包加入到该工程的Build Path中即可

参考文献：

  [1]  Mac OS下安装伪分布式Hadoop

  [2]  Mac OS下安装伪分布式Hadoop及Eclipse插件

  [3]  配置SSH免密钥登陆

  [4]  Unable to load realm info from SCDynamicStore错误解决