Hadoop
Hadoop 主要用来存储和计算,但其计算能力相对较弱
Hadoop一般用两种数据库:
1.hive (sql)
2.hbase(no sql)
Hadoop组成
1.hdfs存储
特点:容量可变,数据冗余,存储分割
2.MapReduce计算
3.yarn 资源调度(cgroup)
每一部分是独立模块,可以独立运行
scala
编程语言
spark
计算引擎
计算分两种:
1.离线计算
2.流式计算
云计算——多台电脑同时运算
反向代理服务器 日志数据
计算机做了几件事?
1.存储数据
2.处理数据
3.传输数据