• Hadoop(二) 单节点案例grep和wordcount|4


    前提步骤安装Hadoop,安装步骤: https://www.jianshu.com/p/2ce9775aeb6e

    单节点案例官方文档地址:http://hadoop.apache.org/docs/r3.1.2/


    配置非常重要

    单节点的案例


     

    可以看到有三项,本地单节点,伪分布式,完全分布式三中


     

    案例1

    本地单节点操作:准备数据源,示例input为我们要处理的数据源,不要提前创建output

    执行examples的示例:过滤input,按照正则,将过滤到的数据输出到output中

    正则:以dfs开头以a-z任意一个字符结尾的数据

      $mkdir input

      $cp etc/hadoop/*.xml input

      $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep input output 'dfs[a-z.]+'


     

      $cat output/*


     

    查看执行生成的文件:


     

    正则解释:以dfs开头以a-z任意一个字符结尾的数据


     

    案例2

    Wordcount案例

    数据源内容:

    hadoop yarn

    hadoop mapreduce

    shaozhiqi

    shaozhiqi

    目标:统计相同单词的个数

    [shaozhiqi@hadoop101 hadoop-3.1.2]$ mkdir wcinput

    [shaozhiqi@hadoop101 hadoop-3.1.2]$ ls

    bin etc  include  input lib  libexec  LICENSE.txt NOTICE.txt  output  README.txt sbin  share  wcinput

    [shaozhiqi@hadoop101 hadoop-3.1.2]$ cd wcinput/

    [shaozhiqi@hadoop101 wcinput]$ vim wc.input

    [shaozhiqi@hadoop101 hadoop-3.1.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar wordcount wcinput/  wcoutput

    结果:


     
  • 相关阅读:
    vue 之 vuex
    vue中this.$router.push() 传参
    ES6新特性
    css优先级
    创建第一个vue工程
    对Vue.js的认知
    前端的认知与见解
    Web前端常见问题
    数据库如何进行索引优化
    Python FAQ
  • 原文地址:https://www.cnblogs.com/shaozhiqi/p/11534590.html
Copyright © 2020-2023  润新知