• Google File System 学习


    摘要

    Google的人设计并实现了Google File System,一个可升级的分布式文件系统,用于大的分布式数据应用。可以运行在廉价的日用硬件上,具备容错性,且为大量客户端提供了高聚合的性能。

    与之前的分布式文件系统的目标一致,但Google的设计是基于对Google的应用负载和技术环境的观察的,包括当下和可预期的,这与一些早期的文件系统有着显著的不同。这让我们重新审视了传统的选择,并辐射性地探索不同的设计点。

    该文件系统已经成功的满足了我们的存储需求。它被广泛地部署在Google内部作为存储平台,用于生成和处理数据 -- Google的服务以及研究和开发所使用的大量数据。截止到当前(2003年),最大的cluster提供了数以百计TB的存储 -- 通过一千部机器的数以千计的磁盘,且由数以百计的客户端并发访问。

    在该论文中,他们呈现了文件系统接口扩展 -- 被设计成支持分布式应用,还讨论了他们的设计的很多方面,最后报告了测量结果 -- 来自微测试和实际世界的使用。

    类别和主题描述:分布式文件系统。

    主要词条:设计、可靠性、性能、测量。

    关键词:容错性、可升级性、数据存储、集群存储。

    1、介绍

    首先,组件失效是一种常见现象,而非异常现象。文件系统由数以百计甚至数以千计的存储机器组成,而这些机器是由廉价的日常组件构建而成,并由同样数量级的客户端机器访问。组件的数量和质量使得在任何给定时刻都可能有一些机器失效,而又有一些并不能从其当前失效中恢复过来。我们见过有由应用bug、os bug、人为错误、磁盘/内存/连接器/网络/电源供应失效导致的问题。因此,constant 监视、错误探测、容错性、还有自动恢复必须集成到该系统中。

    其次,文件是很巨大的 -- 相对于传统标准来说。几个GB的文件很常见。每个文件都包含很多应用对象,例如web documents。当我们

  • 相关阅读:
    gcc/g++命令参数笔记
    周总结
    帆软FineBI试用
    C++输入流
    tt
    linux6 安装oracle11g
    linux下修改/dev/shm tmpfs文件系统大小
    centos6.5_x86_64 下安装 Oracle11gR2 的详细过程
    Linux Network配置
    安装KornShell(KSH)
  • 原文地址:https://www.cnblogs.com/larryzeal/p/6358636.html
Copyright © 2020-2023  润新知