• 第二堂课20210309


    云计算与信息安全

    第二讲

    Google文件系统(GFS)

     SDN软件定义网络,主从式的,由服务器决定的。

    注意:亚马逊是P2P的,不是主从式的。

    两位Google创始人,拉里-佩奇 和 谢尔盖-布林。

    Google文件系统是分布式文件系统。

    Verizon用48亿美元收购了第一个搜索,这个搜索叫做雅虎。

    对于一个文件系统,我们最关心什么呢?关心安全性、文件读写的效率(速度快)、容错性(稳定性,需要对文件进行多于一个的备份)、文件操作性能、文件操作的一致性。

    一、GFS的系统架构

    主从式的。

    用户和Master之间交换的是控制流(信息流),不是大段的数据,是短报文的形式。TCP的三次握手协议也是短报文的形式。

    主:GFS主服务器文件命名空间;

    从:GFS chuck server,Linux文件系统。

    元数据:meta data

    数据服务器:chunk server

    需要默认有三个以上的备份数据

     主服务器(Master server)要求有两个,互为备份。

    GFS整体是三个部分:客户端、主服务器 、数据服务器。

    client(客户端)和Mater之间只有控制流,没有数据流,大大降低了Master的负载。

    client和Chunk Server之间直接传输数据流,同时由于文件被分为多个Chunk进行分布式存储,使得整个系统的I/O高度并行,系统整体性能得到提高。

    GFS的特点:

    一、采用中心服务器模式

    可以方便增加Chunk server

    仿版进行负载均衡

    二、不缓存数据

    文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大。

     三、在用户态下实现

    POSIX接口

    四、只提供专用接口

    二、容错机制

    一、Master容错

    Mater保存了三种元数据:命名空间、Chunk和文件名的映射表、Chunk副本的位置信息。

    二、Master Server容错

    ACID:原子性、一致性、隔离性和持久性,简称事务的ACID特性。

     副本出现版本冲突,怎么解决?答:通过投票选择票数高的即可。

    注意:后面的课程会讲解亚马逊文件系统,并和谷歌文件系统进行比较。

    三、系统管理技术

    系统观念里技术有四个:大规模集群安装技术、故障检测技术、节点动态加入技术、节能技术。

     分布式数据处理MapReduce

    产生背景

    并行编程模式最早是在1995年提出。

    编程模型

     

     

    参考链接:https://blog.csdn.net/yangquanhui1991/article/details/47732593

    https://www.cnblogs.com/zhangyinhua/p/7712773.html

    雪儿言
  • 相关阅读:
    Django中的CSRF
    CentOS 7上快速安装saltstack
    Django中的Form和ModelForm
    Linux下git使用
    django 登录、注册
    django 知识点小结
    django 博客搭建
    django models中字段
    django models中的class meta
    Django Queryset增加manager
  • 原文地址:https://www.cnblogs.com/weixq351/p/14506203.html
Copyright © 2020-2023  润新知