- 存储域网络SAN和网络附加存储NAS:SAN是网络上的磁盘,NAS是网络上的文件系统
- 虚拟化技术
- 一型虚拟化:裸金属架构虚拟化层,运行在服务器硬件之上,完全虚拟化
- 二型虚拟化:寄居架构虚拟化层,作为一种应用程序运行在操作系统之上,半虚拟化
- Spark对比Hadoop优点:
- 为什么Spark效率高?省了几次磁盘读写?
- Spark程序框架:
- 独立(standlone)模式:
- YARN分布式模式:
- Hash倾斜:
- 为什么会倾斜:因为每个key对应的数据量不一样
- 怎样解决:
- 高性能计算和云计算的关系
- 高性能计算面向计算密集型计算
- 云计算面向数据密集型,IO密集型应用
- 联系:两者都使用了分布式计算,网格计算,集群,高密度计算等技术、
- 区别:高性能计算几乎不采用虚拟化技术,而在云计算中,虚拟化是个最基础的技术
- MPI
- 同步阻塞发送:发送操作要等消息被安全接收才算完成。发送操作本身使阻塞,要等待某“事件”,发送操作才返回。
- 同步非阻塞发送:发送操作要等消息被安全接收才算完成。但是想要知道数据被正确接收,要用MPI_Wait(request,status),MPI_Test(request,flag,status)函数查询
- MPI_Wait(request,status):等待非阻塞数据传输完成
- MPI_Test(request,flag,status):检查异步数据传输是否确实完成
- 异步都是非阻塞
- 求圆周率:
- 计算积分
- 基本编程接口:
- 进程与进程间的通信:
- 为什么要并行计算:贯穿整个计算机技术发展的核心目标:提高计算性能。单核处理器性能提升接近极限
- 所以单核处理器向多核并行计算发展成为必然趋势
- OpenStack:
- 概念:
- 八大组成:
- OpenStack概念架构:
- 块存储Cinder
- 基本概念
- 六大组件:
- Hadoop-MapReduce工作原理
- Hadoop处理数据的方式:
- HDFS:
- 基本结构: