• Hadoop Linux安装


    Hadoop Linux安装
    
    步骤流程
    	1.硬件准备
    	2.软件准备(推荐CDH)
    	3.将Hadoop安装包分发到各个节点下
    	4.安装JDK
    	5.修改/etc/hosts配置文件
    	6.设置SSH免密码登陆
    	7.修改配置文件
    	8.启动服务
    	9.验证 
    		
    1.下载软件
    	1.1 apache版本
    	下载链接:http://www.apache.org/
    	1.2 CDH
    	下载链接:http://www.cloudera.com/
    2.安装JDK、解压Hadoop安装包并分发到各个节点
    3.修改/etc/hosts文件
    4.设置SSH免密码登陆
    5.目录介绍
    	bin————Hadoop最基本的管理脚本和使用脚本所在目录
    	etc————Hadoop配置文件所在目录
    	include————对外提供的编程库头文件
    	lib————Hadoop对外提供动态编程库和静态库,配合include目录一起使用
    	libexec————各个服务对应的shell配置文件所在目录,用于配置日志输出
    	sbin————Hadoop各个模块编译后的jar包所在目录	
    6.配置文件(修改后使用scp命令分发到各个节点)
    	1.env.sh
    	2.mapred-site.xml
    	3.core-site.xml
    	4.yarn-site.xml
    	5.hdfs-site.xml
    	6.slave
    7.启动服务
    	1.格式化HDFS
    		bin/hadoop namenode -format
    	2.启动HDFS
    		start-dfs.sh
    	3.启动YARN
    		start-yarn.sh
    8.验证
    	jps(显示五个服务进程)或者web访问
    	http://主机名:端口(其中端口在xml配置文件中配置)
    9.遇到问题
    	1.虚拟机重启后Hadoop无法启动成功
    		解决办法:在core-site.xml文件中添加相应配置,因为每次重启系统会将/tmp目录删除
    	
    

      

  • 相关阅读:
    我的通用dao理解
    Java JNI 编程进阶
    jpa
    WINCE6.0+S3C2443下的usb function(功能)驱动
    WINCE5.0下SQL server compact版本更新
    WINCE6.0+S3C2443下SD卡驱动
    错误的抉择,痛悔
    WINCE电源管理
    冒泡法和选择法排序
    WinCE CEDDK之Bus操作函数
  • 原文地址:https://www.cnblogs.com/ciade/p/4991454.html
Copyright © 2020-2023  润新知