• 理解几个概念


    1.批处理与流式处理

    之前在公司学Hadoop,只知道hadoop做数据处理的时候,得先把数据文件传到HDFS上,然后再启动已经写好的MapReduce程序来跑。有一天听同事的hadoop讲座,他说hadoop是批处理,storm是流式处理,当时不是太理解什么是批处理,流式具体是什么意思。流的概念是有的,学C、C++的时候都有标准输入输出流,知道流其实是对输入和输出的一种抽象。

    直到在学堂在线看大数据平台核心技术的课程视频,有个老师讲说有时候我们的数据不是一次性获得的,而是源源不断地获得的,我才恍然大悟。

    批处理就是要处理的数据一次性得到一批数据,一次性处理。而流式处理就是数据是源源不断地得来的,来一点处理一点的方式。

    2.离线计算与在线计算

    离线计算:就是在一次性在没有请求的时候已经计算好,结果计算出来放着让在线系统用。

    在线计算:又可以称为实时计算,就是当请求来的时候在完成对请求的响应的过程中去计算,就可以称为在线计算,或者实时计算。

    其实流式计算就是实时计算。

    3、服务的概念

    生活中我们买东西会遇到两种东西,一种是产品,或者是有形的(比如铅笔、本子等)或者无形的(比如银行的理财产品),另一种是服务,比如理发。
     
    Linux系统中的应用软件也分为两种:一种是面向最终用户的应用软件,另一种是服务,服务也是应用软件,不过它通常不直接让用户使用。服务也可以分为两种,一种是直接为最终用户服务的服务,比如vsftpd服务就是直接为最终用户提供ftp服务的,另一种是为应用软件服务的服务,他们主要用来支持应用软件的运行。
    Web应用和web service也是类似的关系,web应用供最终用户使用,web service为web应用来提供服务。
  • 相关阅读:
    linux设备驱动学习笔记(1)
    linux 设备驱动程序中的一些关联性思考
    linux——(2)文件权限与目录配置
    linux——(1)初识linux
    设计模式-状态模式(State Pattern)
    设计模式-组合模式(Composite Pattern)
    设计模式-迭代器模式(Iterator Pattern)
    设计模式-模板方法模式(the Template Method Pattern)
    设计模式-外观模式(Facade Pattern)
    设计模式-适配器模式(Adapter Pattern)
  • 原文地址:https://www.cnblogs.com/zhangzl419/p/5529489.html
Copyright © 2020-2023  润新知