• hadoop题目(一)


    一、简要描述如何安装配置一个开源hadoop,只描述即可,列出完整步骤。

      答:①创建一个用户和用户组,用来管理hadoop项目;

         ②修改确定IP地址:vim /etc/sysconfig/network-scripts/ifcfg-eth0

          ③修改主机名:vim /etc/sysconfig/network

          ④修改host主机名和IP地址映射:vim /etc/hosts

        ⑤查看和关闭防火墙:service iptables status    关闭防火墙: service iptables stop

        ⑥安装ssh并配置免密码登录:ssh-keygen -t rsa 执行完这个命令后,会自动生成两个文件id_rsa(私钥)、id_rsa.pub(公钥),将公钥拷贝到要免登陆的机器上:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

        ⑦上传并安装jdk,修改~/.bashrc文件,配置Java环境变量

        ⑧安装hadoop:tar -zxvf hadoop....tar.gz

        ⑨配置conf文件:

        对于hadoop1.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)

        对于hadoop2.* 版本(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,salves文件)

        ⑩安装配置zookeeper集群

        ⑪格式namenode,对于hadoop1.*版本:hadoop namenode -format;对于hadoop2.* 版本:hdfs namenode -format

    二、正常工作的hadoop集群中hadoop都分别需要启动哪些进程,它们的作用分别是什么?

        hadoop2.*版本:会启动NameNode、DFSZKFailoverController,ResourceManager,DataNode、NodeManager、JournalNode

  • 相关阅读:
    抽象
    数据处理—异常值处理
    数据处理—数据连续属性离散化
    数据处理—缺失值处理
    数据处理—归一化
    数据特征—正态性检验
    数据特征—相关性分析
    数据分析—统计分析
    数据特征—帕累托分析
    特征分析—对比分析
  • 原文地址:https://www.cnblogs.com/cherish-cxh/p/9809945.html
Copyright © 2020-2023  润新知