• 《大型网站技术架构:核心原理与案例分析》笔记01


    《大网站技术架构:核心原理与案例分析》笔记01

    大型网站需要解决的问题:

    1.高并发,大流量
    2.高可用
    3.海量数据
    4.用户分布广泛,网络情况复杂
    5.安全环境恶劣
    6.需求快速变更,发布频繁
    7.渐进式发展:好的互联网产品都是慢慢运营出来的,不是一开始就开发好的,同于网站架构的发展过程

    大型网站架构发展历程:

    1.初始阶段:应用程序 文件 数据库等所有资源在同一台服务器上

    出现问题:越来越多的用户访问导致性能越来越差,越来越多数据源导致存储空间不足。
    2.应用服务于数据服务相分离:应用服务器(大量业务逻辑,需要强大CPU) 文件服务器(大量用户上传文件,大硬盘) 数据库服务器(快速磁盘检索和数据缓存,更快的硬盘和更大内存)

    出现问题:用户再次增多,数据库压力太大导致访问延迟,影响整个网站性能,用户体验受到影响。
    3.使用缓存改善网站性能:80/20法则 80%的业务集中在20%的数据上 把这20%的数据缓存在内存中----分布式缓存服务器(快而大的硬盘,远程分布式缓存)

    出现问题:单一服务器能处理的请求连接有限,在网站访问高峰期,应用服务器成为整个网站的瓶颈。
    4.使用应用服务器集群改善网站的并发处理能力:增加应用服务器改善负载压力(负载均衡)

    出现问题:网站使用缓存后,绝大部分数据读操作可以不通过数据库完成,但有一部分操作(缓存访问不命中,缓存过期)和全部写操作需要访问数据库,在网站的用户达到一定规模,数据库因为负载压力过高成为网站的瓶颈。
    5.数据库读写分离:配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另一服务器上(服务器的主从热备功能)。
    介绍:应用服务器写数据的时候,访问主数据库,主数据库通过主从复制机制将数据更新同步到从数据库,这样当应用服务器读数据的时候,就可以通过从数据库获得数据。为了便于应用程序访问读写分离后的数据库,通常在应用服务器端使用专门的数据访问模块,使数据库读写分离对应用透明。

    出现问题:网站访问延迟和用户流失率正相关。
    6.使用反向代理和CDN加速网站响应:CDN和反向代理的基本原理都是缓存。区别在于CDN部署在网络提供商的机房,使用户在请求网站服务时,从距离自己最近的网络提供商机房获取数据;反向代理部署在网站的中心机房,当用户请求到达中心机房后,首先访问的是反向代理服务器,如果反向代理服务器缓存着用户请求的资源,就将其直接返回给用户。

    出现问题:任何强大的单一服务器满足不了大型网站持续增长的业务需求。
    7.使用分布式文件系统和分布式数据库系统:分布式数据库时网站数据库拆分的最后手段,只有在单表数据规模十分庞大的时候才使用。不到不得已时,网站更常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同的物理服务器上。

    出现问题:网站的业务越来越复杂,对数据存储和检索的需求越来越复杂
    8.使用NoSQL和搜索引擎:均为互联网的技术手段,对可伸缩的分布特性具有更好的支持。应用服务器则通过一个统一的数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

    9.业务拆分:如大型购物交易网站将首页、商铺、订单、买家、卖家等拆分成不同的产品线,分归不同的业务团队负责。

    10.分布式服务:提取共用业务,独立部署。

  • 相关阅读:
    HDU 6076
    HDU 6069
    ZOJ
    HDU
    斜率优化dp
    UVA 11752 The Super Powers
    poj 3761 bubble sort (排列组合)
    UVA 11174 Stand in a Line
    Caffe初学者第二部:Ubuntu16.04上安装caffe(CPU)+Matlab2014a+Opencv3的详细过程 (亲测成功, 20180529更新)
    Caffe初学者第一部:Ubuntu14.04上安装caffe(CPU)+Python的详细过程 (亲测成功, 20180524更新)
  • 原文地址:https://www.cnblogs.com/jianglingjun/p/6389440.html
Copyright © 2020-2023  润新知