• hadoop深入了解(二)


    一、hadoop安装

    1.设置静态ip,在windows下查看虚拟机ip,同事更改centos的网络链接为host-only模式,更改Addresscip ,netmask.gateway.

    执行#service network restart

    验证#ipconfig

    2.用工具pietty,简历远程登录,修改主机名,#hostname 主机名。然后#vi /etc/sysconfig/network永久更改主机名

    #vi etc/hosts 更改主机名和ip绑定。

    3.关闭防火墙,#service iptables stop

    关闭自启功能 #chkconfig iptables off

    或者用setup关闭服务、

    4.查看服务列表#chkconfig --list |grep iptables

    5.ssh服务,免密码登陆。像其他的服务,例如FTP,POP,telnet一样都是c/s模型,但是更安全。

    进入。ssh目录下

    产生公钥和私钥 #ssh-keygen -t rsa 

    复制公钥到# cp gongyao authorized_keys

    验证 #ssh localhost

    6.文件传输工具winscp。把jdk和hadoop上传至usr/local下

    ls -l查看权限,不够增加权限#chkconfig u+x 文件名。

    7./解压jdk文件,是指环境变量# vi /etc/profile

    #service /etc/profile立即生效

    java_version查看 

    tar -zxvf hadoop

    vi /etc/profile

    修改四个配置文件

    格式化hadoop namenode -format

    jps查看进程50070和50030

    HDFS命令

    1、hadoop fs -ls  hadoop fs -lsr

    2、hadoop  fs -pu t       -get    -rm  -rmr   text cat 

    本质hadoop fs 相当于hdfs://hadoop0:90001

    3.在core_defaual.xml中设置block大小,默认64MB

    dfs.data.dir中是datanode中的数据位置

  • 相关阅读:
    url参数中出现+、空格、=、%、&、#等字符的解决办法
    hybrid app、react-native 区别
    native app、web app、hybrid app、react-native 区别
    hybrid app 知识点
    使用过的bug跟踪系统
    移动端点击延迟的解决方案
    Java中的null
    类加载器 知识点
    hashcode 知识点
    stylus 知识点
  • 原文地址:https://www.cnblogs.com/dandandeyoushangnan/p/4701078.html
Copyright © 2020-2023  润新知