到了大数据时代,这种角色已经悄然发生了变化。客户机/服务器的概念已经模糊化,被“节点”的概念取代。而这种变化的原因,归根结底,还是数据处理需求发生了本质变化,迫使数据处理模型对应改变。有经验的数据系统管理员不妨对比一下,在数据库里,我们面临的数据存储和计算量是多少;而在大数据环境里,这些数据存储和计算量又是多少?正是由于大数据集群的数据存储和计算量实在太大,如果继续按照C/S模式来处理数据,就无法适应这种巨量的数据处理需求,同时还有设备采购成本和运营成本的带来压力,也迫切需要转变系统运行模式,重新设计系统架构。这样,节点的概念便应运而生。现在的大数据环境里,数据处理都被设计成按功能划分,切割成不同的阶段和模块,每个节点同时承担客户机和服务器的双重角色,即发送指令又处理指令。当发送指令的时候,它是一台客户机,等待服务器的反馈;当接受和处理指令的时候,它是一台服务器,执行数据处理工作。这种角色和工作模式的变化,既有简化数据处理设计和流程带来的好处,也使得我们对计算机性能的要求不那么关注了。现在的大数据集群里,个人计算机所以能够完全代了小型机,正是这个原因。并且由于进一步降低成本和节约能源消耗的需要,以手机为代表的移动架构硬件也越来越多地进入到大数据环境里,这对加快大数据的普及是十分有利的。
以下是Laxcus集群的节点分布图,所有节点都被设计成按照功能划分,它们在集群中承担着不同的工作,协同执行数据处理任务。