Hadoop开发环境

自上周写了第一个HADOOP程序以来，一直没有对开发环境的搭建总结，现总结如下

一、安装Cygwin
1.安装路径c:/Cygwin
2.下载路径X:/Cygwin/
3.需要下载如下包
   Net Category下的OpenSSL，OpenSSH;
   Base Category下的sed;
   Editors Category下的vim,Emacs;
   Devel Category下的subversion,binutils,gcc,gcc-mingw,gdb
4.安装sshd服务
    启动cygwin输入命令：ssh-host-config;
    根据提示进行相应的操作直至安装完成，安装成功后立即启动名称为“CYGWIN sshd”的服务
5.配置ssh登录
      执行ssh-keygen命令，然后根据提示按三次回车键，最后输入如下命令：
   cd ~/.ssh/;
   cp id_rsa.pub authorized_keys

二、Hadoop（伪分布式--仅为了调试程序）
1.将hadoop解压至c:/Cygwin/hadoop
2.重要的几个文件范例
  hadoop-env.sh
   修改项 export JAVA_HOME='C:/Java/jdk1.6.0_33'
  core-site.xml
  hdfs-site.xml
  mapred-site.xml
3.几个注意的事项
  <1. 在mapred-site.xml添加:
      <property><name>mapred.child.tmp</name><value>/hadoop/temp</value></property>
  <2. dos2unix hadoop-env.sh 如果编码有问题，需要转换

三、Eclipse开发环境配置
  几个注意的事项
  <1.将hadoop导入至环境里，需要注意hadoop.temp.dir目录与配置文件一样
  <2.在运行hadoop时，有可能内存不足，需要设置运行环境-Xmx800m
  <3.输入/输入参数   hdfs://IP:9000/user/...input  hdfs://IP:9000/user/.../output
    有时候需要将IP，修改为机器名