• Linux–varnish(一)

    简介

    Varnish 是一款高性能且开源的反向代理服务器和 HTTP 加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合，与传统的 squid 相比，varnish 具有性能更高、速度更快、管理更加方便等诸多优点；
    目前最新版本是4.0.0，而3.x的版本也是可以生产环境下使用的稳定版本，但yum源中的2.x版本过于陈旧，不建议使用；

    Varnish与Squid的对比

    相同点
    都是一个反向代理服务器；
    都是开源软件；

    Varnish的优势

    Varnish的稳定性很高，两者在完成相同负荷的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid要经常重启；
    Varnish访问速度更快，因为采用了“Visual Page Cache”技术，所有缓存数据都直接从内存读取，而squid是从硬盘读取，因而Varnish在访问速度方面会更快；
    Varnish可以支持更多的并发连接，因为Varnish的TCP连接释放要比Squid快，因而在高并发连接情况下可以支持更多TCP连接；
    Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的；
    squid属于是单进程使用单核CPU，但Varnish是通过fork形式打开多进程来做处理，所以可以合理的使用所有核来处理相应的请求；

    Varnish的劣势

    varnish进程一旦Hang、Crash或者重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力；
    在varnish使用中如果单个url的请求通过HA/F5等负载均衡，则每次请求落在不同的varnish服务器中，造成请求都会被穿透到后端；而且同样的请求在多台服务器上缓存，也会造成varnish的缓存的资源浪费，造成性能下降；
    Varnish劣势的解决方案
    针对劣势一：在访问量很大的情况下推荐使用varnish的内存缓存方式启动，而且后面需要跟多台squid服务器。主要为了防止前面的varnish服 务、服务器被重启的情况下，大量请求穿透varnish，这样squid可以就担当第二层CACHE，而且也弥补了varnish缓存在内存中重启都会释 放的问题；
    针对劣势二：可以在负载均衡上做url哈希，让单个url请求固定请求到一台varnish服务器上;

    架构及文件缓存的工作流程

    image

    程序架构：

    Manager进程 管理进程

    Cacher进程，包含多种类型的线程：

    accept, worker, expiry, ...

    shared memory log：

    统计数据：计数器；

    日志区域：日志记录；

    varnishlog, varnishncsa, varnishstat...

    配置接口：VCL

    Varnish Configuration Language, DSL(Domain Specific Language) 域专用语言

    过程：vcl complier --> c complier --> bin shared object

    VCL complier

    1 转成C语言代码

    2 编译成C语言模块

    3 被varnish cache主进程装载使用

    varnish配置文件

    varnish配置由varnishadm工具来管理port:6081：6082(Management)

    HTTP请求的方法：

    HTTP/1.1协议中共定义了八种方法（有时也叫“动作”），来表明Request-URL指定的资源不同的操作方式

    1、OPTIONS

    返回服务器针对特定资源所支持的HTTP请求方法，也可以利用向web服务器发送‘*’的请求来测试服务器的功能性

    2、HEAD

    向服务器索与GET请求相一致的响应，只不过响应体将不会被返回。这一方法可以再不必传输整个响应内容的情况下，就可以获取包含在响应小消息头中的元信息。

    3、GET

    向特定的资源发出请求。它本质就是发送一个请求来取得服务器上的某一资源。资源通过一组HTTP头和呈现数据（如HTML文本，或者图片或者视频等）返回给客户端。GET请求中，永远不会包含呈现数据。

    4、POST

    向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 Loadrunner中对应POST请求函数：web_submit_data,web_submit_form

    5、PUT

    向指定资源位置上传其最新内容

    6、DELETE

    请求服务器删除Request-URL所标识的资源

    7、TRACE

    回显服务器收到的请求，主要用于测试或诊断

    8、CONNECT

    HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。

    注意：

    1）方法名称是区分大小写的，当某个请求所针对的资源不支持对应的请求方法的时候，服务器应当返回状态码405（Mothod Not Allowed）；当服务器不认识或者不支持对应的请求方法时，应返回状态码501（Not Implemented）。

    2）HTTP服务器至少应该实现GET和HEAD/POST方法，其他方法都是可选的，此外除上述方法，特定的HTTP服务器支持扩展自定义的方法。

    varnish只缓存get head

    image

    Varnish 处理 HTTP 请求的过程如下

    1. Receive 状态（vcl_recv）：也就是请求处理的入口状态，根据 VCL 规则判断该请求应该 pass（vcl_pass）或是 pipe（vcl_pipe），还是进入 lookup（本地查询）；
    2. Lookup 状态：进入该状态后，会在 hash 表中查找数据，若找到，则进入 hit（vcl_hit）状态，否则进入 miss（vcl_miss）状态；
    3. Pass（vcl_pass）状态：在此状态下，会直接进入后端请求，即进入 fetch（vcl_fetch）状态；
    4. Fetch（vcl_fetch）状态：在 fetch 状态下，对请求进行后端获取，发送请求，获得数据，并根据设置进行本地存储；
    5. Deliver（vcl_deliver）状态：将获取到的数据发给客户端，然后完成本次请求；

    注：Varnish4中在vcl_fetch部分略有出入，已独立为vcl_backend_fetch和vcl_backend_response2个函数；

    内置函数(也叫子例程)

    • vcl_recv：用于接收和处理请求；当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求；
    • vcl_pipe：此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，并将后端响应原样返回客户端；
    • vcl_pass：此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，但后端主机的响应并不缓存直接返回客户端；
    • vcl_hit：在执行 lookup 指令后，在缓存中找到请求的内容后将自动调用该函数；
    • vcl_miss：在执行 lookup 指令后，在缓存中没有找到请求的内容时自动调用该方法，此函数可用于判断是否需要从后端服务器获取内容；
    • vcl_hash：在vcl_recv调用后为请求创建一个hash值时，调用此函数；此hash值将作为varnish中搜索缓存对象的key；
    • vcl_purge：pruge操作执行后调用此函数，可用于构建一个响应；
    • vcl_deliver：将在缓存中找到请求的内容发送给客户端前调用此方法；
    • vcl_backend_fetch：向后端主机发送请求前，调用此函数，可修改发往后端的请求；
    • vcl_backend_response：获得后端主机的响应后，可调用此函数；
    • vcl_backend_error：当从后端主机获取源文件失败时，调用此函数；
    • vcl_init：VCL加载时调用此函数，经常用于初始化varnish模块(VMODs)
    • vcl_fini：当所有请求都离开当前VCL，且当前VCL被弃用时，调用此函数，经常用于清理varnish模块；

    varnish程序的运行具有局部性特征：

    时间局部性：一个数据被访问过之后，可能很快会被再次访问到；

    空间局部性：一个数据被访问时，其周边的数据也有可能被访问到

    cache：命中

    热区：局部性；

    时效性：

    缓存空间耗尽：LRU，最近最少使用；

    过期：缓存清理

    缓存命中率：hit/(hit+miss)

    (0,1)

    页面命中率：基于页面数量进行衡量

    字节命中率：基于页面的体积进行衡量

    缓存与否：

    私有数据：private，private cache；

    公共数据：public, public or private cache;

    Cache-related Headers Fields

    The most important caching header fields are:

    Expires：过期时间；

    Expires:Thu, 22 Oct 2026 06:34:30 GMT

    Cache-Control：max-age=

    Etag

    If-None-Match

    Last-Modified

    If-Modified-Since

    Vary

    Age

    缓存有效性判断机制：

    过期时间：Expires

    HTTP/1.0

    Expires：过期

    HTTP/1.1

    Cache-Control: maxage=

    Cache-Control: s-maxage=

    条件式请求：

    Last-Modified/If-Modified-Since：基于文件的修改时间戳来判别；

    Etag/If-None-Match：基于文件的校验码来判别；

      1 Expires:Thu, 13 Aug 2026 02:05:12 GMT
  2 
  3 Cache-Control:max-age=315360000
  4 
  5 ETag:"1ec5-502264e2ae4c0"
  6 
  7 Last-Modified:Wed, 03 Sep 2014 10:00:27 GMT
  8

    缓存层级：

    私有缓存：用户代理附带的本地缓存机制；

    公共缓存：反向代理服务器的缓存功能；

    User-Agent <--> private cache <--> public cache <--> public cache 2 <--> Original Server

    Cache-Control: key=value, key=value

    请求报文用于通知缓存服务如何使用缓存响应请求：

      1 cache-request-directive =
  2 
  3 "no-cache"， //不能直接用缓存响应
  4 
  5 | "no-store" //不能直接用缓存响应，要去远程服务器去取新的。 
  6 
  7 | "max-age" "=" delta-seconds
  8 
  9 | "max-stale" [ "=" delta-seconds ] //过期的缓存，最大允许过期多长时间的缓存来响应
 10 
 11 | "min-fresh" "=" delta-seconds //指示客户机可以接收响应时间小于当前时间加上指定时间的min-fresh。
 12 
 13 | "no-transform"
 14 
 15 | "only-if-cached"
 16 
 17 | cache-extension
 18

    响应报文用于通知缓存服务器如何存储上级服务器响应的内容：

      1 cache-response-directive =
  2 
  3 "public"
  4 
  5 | "private" [ "=" <"> 1#field-name <"> ]
  6 
  7 | "no-cache" [ "=" <"> 1#field-name <"> ]，//可缓存，但响应给客户端之前需要revalidation，即必须发出条件式请求进行缓存有效性验正；
  8 
  9 | "no-store" ，//不允许存储响应内容于缓存中； 
 10 
 11 | "no-transform"
 12 
 13 | "must-revalidate"
 14 
 15 | "proxy-revalidate"
 16 
 17 | "max-age" "=" delta-seconds //私有缓存能缓存多长时间
 18 
 19 | "s-maxage" "=" delta-seconds //公共缓存能缓存多长时间
 20 
 21 | cache-extension
 22
  • 相关阅读:
    Spark介绍与环境搭建
    Kafka基本操作
    Hadoop的HDFS概述
    hadoop环境搭建
    常用小工具
    mac机
    Eclipse使用
    微信公众号开发
    PM2
    JS 零散知识点
  • 原文地址：https://www.cnblogs.com/OrochWang/p/9607305.html
Copyright © 2020-2023  润新知