寒假学习记录03

寒假学习记录03

今日任务：

1.完成hadoop的环境配置；

2.看教学视频(林子雨老师大数据课程10.2 spark生态系统和10.3spark运行架构)

在实际应用中，大数据处理主要类型：

（1）复杂的批量数据处理：通常时间跨度在数十分钟到数小时之间

（2）基于历史数据的交互式查询：通常时间跨度在数十秒到数分钟之间

（3）基于实时数据流的数据处理：通常时间跨度在数百毫秒到数秒之间

spark运行架构