• Hadoop使用实例 词频统计和气象分析


    一.词频统计

    下载喜欢的电子书或大量文本数据,并保存在本地文本文件中

    编写map与reduce函数

     

    本地测试map与reduce

     将文本数据上传至HDFS上

     用hadoop streaming提交任务

    查看运行结果

     

     计算结果取回到本地

     二、气象数据分析

        如:求每日最高温度

    批量下载气象数据

     解压数据集,并保存在本地文本文件中

     

    编写map与reduce函数

     

     本地测试map与reduce

     

     将气象数据上传至HDFS上

     用hadoop streaming提交任务

     

    查看运行结果

     

    计算结果取回到本地

     

  • 相关阅读:
    iOS
    iOS
    iOS
    iOS
    iOS
    iOS
    iOS
    iOS
    iOS
    iOS
  • 原文地址:https://www.cnblogs.com/cxxcxl/p/13951797.html
Copyright © 2020-2023  润新知