• Amazon EFS 性能


    性能概述 EFS是在一个VPC内可见的,如果夸VPC访问就需要VPC Peering的支持

    Amazon EFS 文件系统分布在数量不受约束的存储服务器上,使文件系统能够弹性扩展到 PB 级规模,并允许从 Amazon EC2 实例大规模并行访问您的数据。Amazon EFS 的分布式设计避免了传统文件服务器固有的瓶颈和限制。

    这种分布式数据存储设计意味着多线程应用程序和同时从多个 Amazon EC2 实例访问数据的应用程序会带来巨大的聚合吞吐量和 IOPS。大数据和分析工作负载、媒体处理工作流、内容管理和 web 服务等都属于这类应用程序。

    此外,Amazon EFS 数据分布在多个可用区 (AZ) 中,从而可提供高度持久性和可用性。下表对 Amazon 文件和数据块云存储服务的高性能和存储特性进行了比较。

    性能比较:Amazon EFS 和 Amazon EBS

     Amazon EFSAmazon EBS 预配置 IOPS
    每次操作的延迟 低且一致的延迟。 最低且一致的延迟。
    吞吐量规模 每秒 10+ GB。 每秒最多 2 GB。

    存储特性比较:Amazon EFS 和 Amazon EBS

     Amazon EFSAmazon EBS 预配置 IOPS
    可用性与持久性 数据冗余存储在多个可用区中 数据冗余存储在一个可用区中
    访问 多个可用区的多达数千个 Amazon EC2 实例可以同时连接到一个文件系统。 一个可用区的一个 Amazon EC2 实例可以连接到一个文件系统。
    使用案例 大数据和分析、媒体处理工作流、内容管理、Web 服务和主目录。 引导卷、事务型数据库和 NoSQL 数据库、数据仓库和 ETL。

    Amazon EFS 的分布式特性实现了高水平的可用性、持久性和可扩展性。这种分布式架构使得每次文件操作只产生很小的延迟开销。由于这种每次操作的延迟,总吞吐量通常会随着平均 I/O 大小增加而增加,因为开销在大量数据之间分摊。Amazon EFS 支持高度并行化的工作负载(例如,从多个线程和多个 Amazon EC2 实例使用并行操作),从而实现巨大的聚合吞吐量和每秒操作数。

    Amazon EFS 使用案例

    Amazon EFS 旨在满足以下使用案例的性能需求。

    大数据与分析

    Amazon EFS 提供大数据应用程序所需的规模和性能,这些应用程序需要计算节点具有高吞吐量以及“写入后读取一致性”和低延迟文件操作。

    媒体处理工作流

    媒体工作流 (如视频编辑、演播室制作、广播处理、声音设计和渲染等) 通常依赖于共享存储来操作大型文件。具有高吞吐量和共享文件访问的强数据一致性模型可以缩短执行这些作业所需的时间,并将多个本地文件存储库整合到一个位置以供所有用户使用。

    内容管理和 Web 服务

    Amazon EFS 为内容管理系统提供持久的高吞吐量文件系统,这些内容管理系统为各种应用 (如网站、在线出版物和存档) 存储和提供信息。

    主目录

    Amazon EFS 可以为拥有众多需要访问和共享公共数据集的组织提供存储。管理员可以使用 Amazon EFS 创建一个可供整个组织的人员访问的文件系统,并在文件或目录级别为用户和组建立权限。

    性能模式

    为了支持各种云存储工作负载,Amazon EFS 提供了两种性能模式。您应在创建文件系统时选择其性能模式。

    两种性能模式没有额外成本,因此,无论您选择哪种性能模式,您的 Amazon EFS 文件系统的计量和计费方式都是一样的。有关文件系统限制的信息,请参阅Amazon EFS 文件系统的限制

    注意

    创建 Amazon EFS 文件系统后,其性能模式将无法再更改。

    通用性能模式

    我们建议对于绝大多数 Amazon EFS 文件系统采用通用性能模式。通用性能模式非常适合对延迟敏感的使用案例,如 Web 服务环境、内容管理系统、主目录和一般文件服务。如果您在创建文件系统时未选择性能模式,Amazon EFS 默认选择通用模式。

    最大 I/O 性能模式

    最大 I/O 模式下的文件系统可以扩展到更高级别的聚合吞吐量和每秒操作数,但代价是稍高的文件操作延迟。诸如大数据分析、媒体处理和基因组分析等高度并行化的应用程序和工作负载可以受益于这种模式。

  • 相关阅读:
    微擎开发文档/微擎执行主流程介绍
    数据库 first
    ThinkPHP CURD 操作
    thinkPHP3.2.3 框架
    THINKPHP 框架的模板技术
    PHP 符号
    CentOS: 网络连接故障排除
    yum grouplist 安装gnome桌面环境
    centos图形界面的开启和关闭
    dk7和jdk8的一些新特性
  • 原文地址:https://www.cnblogs.com/cloudrivers/p/11254998.html
Copyright © 2020-2023  润新知