一、大数据简介
当前大数据的应用:
大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
大数据 : Volume,Variety,Velocity,Value
因此我们需要:
-
存储大量数据
-
快速的处理大量数据
-
从大量数据中进行分析,以产生价值
学习Hadoop建议:
1、结合书本,知识系统
2、要动手
学习是有门槛的
预备知识
1、linux常用命令
2、java编程基础
二、Hadoop的前世今生#
数据=未来
系统瓶颈:存储容量,读写速率,计算速率……
Google大数据技术:MapReduce,BigTable,GFS等
优点:
成本降低,能用PC,就不用大型机和高端存储
软件容错硬件故障视为常态,通过软件保证可靠性
简化了并行分布式计算,无须控制节点同步和数据交换