• 大数据时代,计算模式从客户机/服务器到节点的转变


        在数据库时代,计算机在分布体系中的角色有明确划分,不是客户机就是服务器,通常是一台服务器连着多台客户机,服务器承担存储和计算的工作,客户机负责显示服务器的处理结果。高性能的计算机,比如小型机会被做为服务器,低端的计算机,如个人计算机成为客户机。这就是以前经常说的Client/Server(客户机/服务器)结构。

        到了大数据时代,这种角色已经悄然发生了变化。客户机/服务器的概念已经模糊化,被“节点”的概念取代。而这种变化的原因,归根结底,还是数据处理需求发生了本质变化,迫使数据处理模型对应改变。有经验的数据系统管理员不妨对比一下,在数据库里,我们面临的数据存储和计算量是多少;而在大数据环境里,这些数据存储和计算量又是多少?正是由于大数据集群的数据存储和计算量实在太大,如果继续按照C/S模式来处理数据,就无法适应这种巨量的数据处理需求,同时还有设备采购成本和运营成本的带来压力,也迫切需要转变系统运行模式,重新设计系统架构。这样,节点的概念便应运而生。现在的大数据环境里,数据处理都被设计成按功能划分,切割成不同的阶段和模块,每个节点同时承担客户机和服务器的双重角色,即发送指令又处理指令。当发送指令的时候,它是一台客户机,等待服务器的反馈;当接受和处理指令的时候,它是一台服务器,执行数据处理工作。这种角色和工作模式的变化,既有简化数据处理设计和流程带来的好处,也使得我们对计算机性能的要求不那么关注了。现在的大数据集群里,个人计算机所以能够完全代了小型机,正是这个原因。并且由于进一步降低成本和节约能源消耗的需要,以手机为代表的移动架构硬件也越来越多地进入到大数据环境里,这对加快大数据的普及是十分有利的。

        以下是Laxcus集群的节点分布图,所有节点都被设计成按照功能划分,它们在集群中承担着不同的工作,协同执行数据处理任务。



  • 相关阅读:
    大数据总结
    spark_streaming_微批量处理
    spark_sql_解析器
    spark_sql_函数
    spark-sql-04-spark连接hive的几种方式
    spark-sql-04-on_hive
    spark-sql-04-hive
    CF550C Divisibility by Eight
    CF489C Given Length and Sum of Digits...
    CF550A Two Substrings
  • 原文地址:https://www.cnblogs.com/laxcus/p/5303520.html
Copyright © 2020-2023  润新知