• 云计算技术复习


    • 存储域网络SAN和网络附加存储NAS:SAN是网络上的磁盘,NAS是网络上的文件系统
    • 虚拟化技术
      • 一型虚拟化:裸金属架构虚拟化层,运行在服务器硬件之上,完全虚拟化
      • 二型虚拟化:寄居架构虚拟化层,作为一种应用程序运行在操作系统之上,半虚拟化
    • Spark对比Hadoop优点:
    • 为什么Spark效率高?省了几次磁盘读写?
    • Spark程序框架:
    • 独立(standlone)模式:
    • YARN分布式模式:
    • Hash倾斜:
      • 为什么会倾斜:因为每个key对应的数据量不一样
      • 怎样解决:
    • 高性能计算和云计算的关系
      • 高性能计算面向计算密集型计算
      • 云计算面向数据密集型,IO密集型应用
      • 联系:两者都使用了分布式计算,网格计算,集群,高密度计算等技术、
      • 区别:高性能计算几乎不采用虚拟化技术,而在云计算中,虚拟化是个最基础的技术
    • MPI
      • 同步阻塞发送:发送操作要等消息被安全接收才算完成。发送操作本身使阻塞,要等待某“事件”,发送操作才返回。
      • 同步非阻塞发送:发送操作要等消息被安全接收才算完成。但是想要知道数据被正确接收,要用MPI_Wait(request,status),MPI_Test(request,flag,status)函数查询
      • MPI_Wait(request,status):等待非阻塞数据传输完成
      • MPI_Test(request,flag,status):检查异步数据传输是否确实完成
      • 异步都是非阻塞
      • 求圆周率:
      • 计算积分
      • 基本编程接口:
      • 进程与进程间的通信:
    • 为什么要并行计算:贯穿整个计算机技术发展的核心目标:提高计算性能。单核处理器性能提升接近极限
    • 所以单核处理器向多核并行计算发展成为必然趋势
    • OpenStack:
      • 概念:
      • 八大组成:
      • OpenStack概念架构:
      • 块存储Cinder
      • 基本概念
      • 六大组件:
    • Hadoop-MapReduce工作原理
    • Hadoop处理数据的方式:
    • HDFS:
      • 基本结构:
  • 相关阅读:
    利用...来字符检測(swift)
    iOS开发中WebP格式的64位支持处理
    Hadoop与分布式开发
    Lua代码解析-写给C和C++开发人员
    logback使用
    【mysql】更新“”空字符串为NULL
    【java】代码优化点
    【java】java获取对象属性类型、属性名称、属性值
    【mybatis】mybatis中放置IN查询拼接sql过长,IN查询进行分批次查询的处理
    【java】java中替换中括号[ ]操作
  • 原文地址:https://www.cnblogs.com/chenhongarticles/p/9226365.html
Copyright © 2020-2023  润新知