• 大数据hadoop环境搭建伪分布式模式


    伪分布式模式的配置是按照完全分布式模式来搭建的,但是他只有一台服务器,适合用于学习。

    下面的文件配置都是尚硅谷课程中做的笔记:

    配置集群:

    需要配置文件:

    第一个文件:

     

     第二个文件:

     第三个文件:

     默认的副本数是3,

    接下来就要启动集群,

    第一步:格式化namenode(只有第一次需要格式化,格式化就是把集群上的数据全部清空)

    bin/hdfs namenode -format

    第二部 :启动NameNode

    sbin/hadoop-daemon.sh start namenode

     查看是否启动成功

    第三步:启动DataNode

    sbin/hadoop-daemon.sh start datanode

     检查是否可以工作了,通过 netstat -ntlp 命令查看端口号:

     在windows的浏览器中输入网址:hadoop1:9870

     如果这个网址出不来,可以检查防火墙是否关闭,检查windows和虚拟机是否相互可以ping通。

    在伪分布式模式下,创建文件:

    bin/hdfs dfs -mkdir -p /uesr/atguigu/input

     在这个网站里就可以看到刚刚创建的内容。

     现在这里就相当于本地文件,要把本地文件wcinput上传到hdfs,

    bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input

     接下来在hdfs上运行一个wordcount

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /user/atguigu/input /user/atguigu/output

     

  • 相关阅读:
    FPM
    Docker记录
    阿里云ECS发送企业邮件
    git操作
    vscode+vagrant+xdebug调试
    Spring Security开发安全的REST服务
    559. Maximum Depth of N-ary Tree
    《算法图解》之散列表
    766. Toeplitz Matrix
    893. Groups of Special-Equivalent Strings
  • 原文地址:https://www.cnblogs.com/zhaoxinhui/p/15484698.html
Copyright © 2020-2023  润新知