• redhat6hadoop单机安装


    系统配置
    (1)以root身份打开vim /etc/sysconfig/network
    	修改HOSTNAME=node3
    (2)vim /etc/hosts添加
    192.168.10.198 node1
    192.168.10.199 node2
    192.168.10.228 node3
    (3)重启init6
    (4)每个节点都有相同的用户例如:hadoop(账号默认的主目录为:/home/hadoop)
    	用有root权限的用户登录系统,执行:
     [root@node1:~]$vim /etc/sudoers
       在打开的文件中加入:hadoop ALL=(ALL) ALL
     注:方便hadoop用户访问和修改系统文件与配置
    (5)添加用户	useradd hadoop
    	su hadoop 切换用户名为hadoop
    (6)生成密钥:
    [hadoop@node1:~]ssh-keygen -t dsa -P ''  一路回车
    [hadoop@node1:~]cd /home/hadoop/.ssh/
    [hadoop@node1:~]ls
    [hadoop@node1:~]cp id_dsa.pub authorized_keys
    (7)把authorized_keys文件拷贝到各NameNode节点上
    ??[hadoop@node1 .ssh]$scp authorized_keys hadoop@192.168.10.198:/home/hadoop/.ssh/
    并在各节点设置权限,例如:
    [hadoop@node2.ssh]$ chmod 644 authorized_keys
    
    (8)对ssh服务进行配置,去除密码验证,在每个节点上对/etc/ssh/sshd_config文件进行修改,例如:
       [hadoop@node2:~]$sudo vi /etc/ssh/sshd_config
       在文件中进行如下修改:
       去除#
       PasswordAuthentication  no
       AuthorizedKeysFile     .ssh/authorized_keys
       重启sshd服务:
       sudo /etc/init.d/sshd restart
    
    
    
    
    
    
    
    
    		(一)安装jdk
    	(1)安装jdk 
    		yum install -y java*
    	(2)配置JAVA环境变量
    		vim /etc/profile
    			添加
    export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre
    export CLASSPATH=.:/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre/lib
    export PATH=$JAVA_HOME/bin
    	(3)执行 chmod +x /etc/profile ,把profile变成可执行文件
    	执行 source /etc/profile,把profile里的内容执行生效
    
    	(4)执行,java、javac、java -version 查看是否安装成功.
    		
    
    (二)安装ssh
    
    	(1)设置不用登陆密码
    		cd  /root
    		ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
    		cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    	chmod 644 authorized_keys  
    
    		
    
    	(2)完成后登录不用输入密码,第一次需要输入回车键。        
    		$ ssh localhost
    		$ exit
    (三)修改linux机器名
    	vim  /etc/sysconfig/network
    		NETWORKING=yes
    		HOSTNAME=hadoopName
    
                把HOSTNAME改成你想要的机器名,我改成了hadoopName,然后保存
    	 vim  /etc/hosts
        	192.168.10.197    hadoopName hadoopName
    修改完后,执行hostname 就能看到自己新改的机器名了
    
    (四)安装hadoop
    	http://archive.apache.org/dist/hadoop/core/下载hadoop-0.20.204.0.tar.gz
    
    	(1)解压tar zxf hadoop-0.20.204.0.tar.gz
    		mv hadoop-0.20.204.0   /usr/local
    
    
    	(2)修改配置
    	vim /usr/local/hadoop-0.20.204.0/conf/hadoop-env.sh 
    	添加
    	export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0/jre
    
    
    	
    	
    经历以上步骤,所有文件修改完毕,已经设置好Hadoop单机测试环境,下面将是启动Hadoop服务。
    
    
    		格式化Namenode
    		cd /usr/local/hadoop-0.20.204.0/
    		bin/hadoop namenode -format
    
    		启动所有hadoop服务
    		bin/start-all.sh
    
    
    单机测试
    cd /usr/local/hadoop-0.20.204.0/
    mkdir test-in
    cd test-in
    echo "hello world bye world">file1.txt
    echo "hello hadoop goodbye hadoop">file2.txt
    cd ..
    bin/hadoop jar hadoop-examples-0.20.204.0.jar wordcount test-in test-out
    
    cd test-out
    cat part-00000
    

      

  • 相关阅读:
    Flash代码执行原理与性能优化笔记
    服务器自建git
    列表删除
    mysql的隔离级别实践
    py2和py3的字符编码
    Django外键(ForeignKey)操作以及related_name的作用
    python多个装饰器嵌套
    git diff使用
    .gitignore 只包含几个文件
    三层菜单字典练习
  • 原文地址:https://www.cnblogs.com/yuchunju/p/2530988.html
Copyright © 2020-2023  润新知