虽然自己搞hadoop也有一段时间了,但是在和网友交流过程中,发现很有朋友对hadoop安装的还是有很大的问题,网上的博客也是乱的一塌糊涂,对新手造成很大的误解,所以自己写篇博客分享给网友,同时也加强自己记忆吧。。。
hadoop版本: http://archive.cloudera.com/cdh5/cdh/5/
crtl+F 搜索我们需要的版本
准备 : hadoop(hadoop-2.6.0-cdh5.7.0.tar.gz)的版本 , xshell(工具任意), 简单的linux命令操作, jdk(1.7以上) 个人使用的是centos系统(新手可以加我qq问我要镜像):干净简洁
一个简单干净的contos的环境就准备好了
1 : 新建contos用户
(新增了hadoop用户 ;设置hadoop用户的密码)
2:root用户修改新建用户权限
i按键是进入编辑状态 ;编辑好按esc ,wq是保存退出 ,wq!保存并强制退出
3: 切换到hadoop用户
新建链接 ,登录刚新建的hadoop用户和密码
新建一个文件夹 : mkdir app
上传hadoop版本,打开xshell的窗口 ,传输新建文件
上传到app下 ,解压 tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
解压ok ,
配置hadoop和jdk的环境,
sudo vim /etc/profile
验证java环境(jdk我是放在usr/local下的,此处没有演示,不会的可以百度下,很简单)
java ,java-version
此处还需要配置hadoop的java环境,因为hadoop的程序也是跑在jvm之上的:
进入 hadoop-2.6.0-cdh5.7.0/etc/hadoop 这个文件夹下
vim hadoop-env.sh
就是你jdk的安装环境 ;(ps: pwd可查看当前路径)
验证hadoop环境
环境验证ok,配置下ip
sudo vim /etc/hosts
配置好之后: source /etc/hosts
然后再修改 :sudo vim /etc/sysconfig/network
在source /etc/sysconfig/network
这个是contos重启才能生效
我们开始配置hadoop的配置文件了
先配置core-site.xml (hadoop-2.6.0-cdh5.7.0/etc/hadoop)
这个tmp需要自己创建,如果自己不创建系统启动会给你创建.
在配置hdfs-site.xml (一个副本) vim hdfs-site.xml
hadoop就配置结束了。。。。
然后安装ssh免密登录
ssh-keygen -t rsa 密码就按ENTER结束,就是没有密码
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 复制秘钥验证
验证一下
这就登录上了,下次再登录就不要密码了
然后就是格式化namenode
启动命令在 hadoop文件的bin下
./hadoop namenode -format
namenode格式化成功,(ps: 第一次启动需要格式化,下次就不需要呀)
然后进入 hadoop/sbin目录下
./start-dfs.sh
启动好用jps验证下就ok了, 三个进程缺一不可
如果出现错误可以去hadoop文件下的logs中查看日志
然后也可以看web界面
如果查看不到也可以是你本地hosts文件问题(个人qq:664283422 有问题可以咨询我)