• hadoop的6个进程启动不全,请试 比如datanode没有启动


     

    赋给hadoop用户hadoop-1.2.1读写权限

    1. [root@master usr]# chown -R hadoop121:hadoop121 hadoop-1.2.1/     
     
    折腾了两个小时,终于把hadoop的6个进程全部启动起来了。(其中jps不是任务,其他5个是,分别是NameNode,SecondaryNameNode, DataNode, JobTracker, TaskTracker )
    我之前的猜测,比如~/.bashrc文件里CLASSPATH没有配置的原因给否决掉了,不是文件配置的问题。是权限的问题!
    chown或者chmod
     
    安装并配置好hadoop后,至少有一个进程,即jps,或者三个,即jps,namenode,jobtracker;
     
    1.单机上,如果出现ssh  。。。confused问题,则请sudo apt-get install openssh-server;
    此时至少会启动3个进程,即jps,namenode,jobtracker;
    在单机上配置时,所有有关ssh的配置都不要配,需要的时候再配置也行;
     
    2.在hadoop-env.sh文件里添加如下一条语句:
    export  JAVA_HOME=/usr/local/lib/jdk1.6.0_40
    Note:HADOOP_HOME有关的千万不要放开,只配置JAVA_HOME就够了
     
    2.查看core-site.xml和mapred-site.xml文件
    core-site.xml文件中
    1.   
    2. fs.default.name  
    3. hdfs://localhost:9000  
    4.  
    mapred-site.xml文件中
    1.   
    2. mapred.job.tracker  
    3. localhost:9001  
    4.  
    一个有hdfs://开头,一个没有
    这时应该可以启动5个进程了,一般是DataNode没有启动;
     
    3. 学会查看日志,去hadoop安装目录下的logs目录里找到datanode的日志(还有很多其他任务的日志),打开查看,出现的问题都会在里面显示;在网上查看了一番,datanode没有启动大都是权限的问题!要么chmod,要么chown;
    chmod了一个data所在的目录,没起作用,chown这句一执行,所有的进程(5个任务+1个jps)瞬间都启动了
    sudo chown -R hadoop121:hadoop121 hadoop-1.2.1/   
     
     
    有时需要先./bin/stop-all.sh ,再/bin/start-all.sh,或者./bin/hadoop namenode -format(namenode格式化)
     
    发现linux下各种权限问题,这是刚开始在linux下编程的最大感触吧。
  • 相关阅读:
    Mysql 数据库优化(五)sql语句优化【个人经验】转
    C# 编写的winform程序的托盘功能
    Mysql 数据库‘’函数‘、‘’事件‘’完成时间字段自动更新
    dd
    c# ‘using’三种用法
    集群、分布式、负载均衡
    iOS开发- Xcode 7添加pch文件
    iOS开发-pod install 出错 The dependency `AFNetworking (~> 2.6.0)` is not used in any concrete target.
    leetcode -- Find Median from Data Stream
    ubuntu14.04 LTS 更新源
  • 原文地址:https://www.cnblogs.com/timssd/p/6000840.html
Copyright © 2020-2023  润新知