• Hadoop使用实例


    1.词频统计

    1.1下载喜欢的电子书或大量文本数据,并保存在本地文本文件中

    1.2编写map与reduce函数

    1.3本地测试map与reduce

    1.4将文本数据上传至HDFS上

    1.5用hadoop streaming提交任务

    1.6查看运行结果

    1.7计算结果取回到本地

    加分

    2.气象数据分析

         如:求每日最高温度

    2.1批量下载气象数据

    2.2解压数据集,并保存在本地文本文件中

    2.3编写map与reduce函数

    2.4本地测试map与reduce

    2.5将气象数据上传至HDFS上

    2.6用hadoop streaming提交任务

    2.7查看运行结果

    2.8计算结果取回到本地

  • 相关阅读:
    跨域处理
    intellij idea远程调试
    sring boot特性
    spring mvc与struts2的区别
    jenkins集成sonar
    hibernate笔记
    python脚本
    python 字符框
    python操作
    python环境配置
  • 原文地址:https://www.cnblogs.com/shawncs/p/13953321.html
Copyright © 2020-2023  润新知