varnish 测试

安装

　通过epel 源 yum 安装

[root@localhost varnish]# rpm -ql varnish
/etc/logrotate.d/varnish
/etc/varnish
/etc/varnish/default.vcl
/etc/varnish/varnish.params
/run/varnish.pid
/usr/bin/varnishadm
/usr/bin/varnishhist
/usr/bin/varnishlog
/usr/bin/varnishncsa
/usr/bin/varnishstat
/usr/bin/varnishtest
/usr/bin/varnishtop
/usr/lib/systemd/system/varnish.service
/usr/lib/systemd/system/varnishlog.service
/usr/lib/systemd/system/varnishncsa.service
/usr/sbin/varnish_reload_vcl
/usr/sbin/varnishd
/usr/share/doc/varnish-4.0.5
/usr/share/doc/varnish-4.0.5/LICENSE
/usr/share/doc/varnish-4.0.5/README
/usr/share/doc/varnish-4.0.5/builtin.vcl
/usr/share/doc/varnish-4.0.5/changes.rst
/usr/share/doc/varnish-4.0.5/example.vcl
/usr/share/man/man1/varnishadm.1.gz
/usr/share/man/man1/varnishd.1.gz
/usr/share/man/man1/varnishhist.1.gz
/usr/share/man/man1/varnishlog.1.gz
/usr/share/man/man1/varnishncsa.1.gz
/usr/share/man/man1/varnishstat.1.gz
/usr/share/man/man1/varnishtest.1.gz
/usr/share/man/man1/varnishtop.1.gz
/usr/share/man/man3/vmod_directors.3.gz
/usr/share/man/man3/vmod_std.3.gz
/usr/share/man/man7/varnish-cli.7.gz
/usr/share/man/man7/varnish-counters.7.gz
/usr/share/man/man7/vcl.7.gz
/usr/share/man/man7/vsl-query.7.gz
/usr/share/man/man7/vsl.7.gz
/var/lib/varnish
/var/log/varnish
[root@localhost varnish]# 

 配置varnish的三种应用

　　　　　　　1、varnishd应用程序的命令行参数；
                监听的socket, 使用的存储类型等等；额外的配置参数；
                    -p param=value 
                    -r param,param,... : 设定只读参数列表；

                    /etc/varnish/varnish.params

            2、-p选项指明的参数：
                运行时参数：
                    也可在程序运行中，通过其CLI进行配置；

            3、vcl：配置缓存系统的缓存机制；
                通过vcl配置文件进行配置；
                    先编译，后应用；
                        依赖于c编译器；

启动varnish:

Starting Varnish（启动varnish）
         假设varnishd在您的环境变量中，您可能需要运行pkill varnishd来确定varnish没有运行。然后使用root执行下面的命令。
         varnishd  -f /usr/local/etc/varnish/default.vcl  -s malloc,1G -T 127.0.0.1:2000 -a 0.0.0.0:8080
         我添加了一些选项，现在来详细分析他们：
         -f /usr/local/etc/varnish/default.vcl
         这个 –f 选项指定varnishd使用哪个配置文件。
         -s malloc，1G
         这个 –s 选项用来确定varnish使用的存储类型和存储容量，我使用的是malloc类型（malloc是一个C函数，用于分配内存空间）， 1G 定义多少内存被malloced，1G = 1gigabyte。
         -T 127.0.0.1：2000
         Varnish有一个基于文本的管理接口，启动它的话可以在不停止varnish的情况下来管理varnish。您可以指定管理软件监听哪个接口。当然您不能让全世界的人都能访问您的varnish管理接口，因为他们可以很轻松的通过访问varnish管理接口来获得您的root访问权限。我推荐只让它监听本机端口。如果您的系统里有您不完全信任的用户，您可以通过防火墙规则来限制他访问varnish的管理端口。
         -a 0.0.0.0：8080
         这一句的意思是制定varnish监听所有IP发给8080端口的http请求，如果在生产环境下，您应该让varnish监听80，这也是默认的。

*********#/etc/varnish/varnish.params 配置文件定义了默认的运行参数，可以直接通过命令行指定，也可以通过修改配置文件配置
*********#/etc/varnish/default.vcl   配置文件定义了缓存系统的配置

命令行工具：
            varnishadm -S /etc/varnish/secret -T IP:PORT

            Log:
                varnishlog
                varnishncsa

            Statistics
                varnishstat

            Top：
                varnishtop

数据处理流程：

    vcl各状态引擎的功用：
        vcl_recv
        vcl_fetch
        vcl_pipe: 用于将请求直接发往后端主机；
        vcl_hash: 自定义hash生成时的数据来源
        vcl_pass: 用于将请求直接传递至后端主机；
        vcl_hit: 从缓存中查找到缓存对象时要执行的操作；
        vcl_miss: 从缓存中款查找到缓存对象时要执行的操作；
        vcl_deliver: 将用户请求的内容响应给客户端时用到的方法； 
        vcl_error: 在varnish端合成错误响应而时；

 配置文件介绍：

#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.

# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;

# Default backend definition. Set this to point to your content server.
backend default {         #定义后端服务器主机
   # .host = "127.0.0.1";  
   # .port = "8080";
     .host = "192.168.100.103";
     .port = "80";
}

sub vcl_recv {
    # Happens before we check if we have this in cache already.
    #
    # Typically you clean up the request here, removing cookies you don't need,
    # rewriting the request, etc.
                    if (req.method == "PRI") {　　　　　　　　#自己添加官网部分
                        /* We do not support SPDY or HTTP/2.0 */
                        return (synth(405));
                    }

                    if (req.method != "GET" &&
                      req.method != "HEAD" &&
                      req.method != "PUT" &&
                      req.method != "POST" &&
                      req.method != "TRACE" &&
                      req.method != "OPTIONS" &&
                      req.method != "DELETE") {
                        /* Non-RFC2616 or CONNECT which is weird. */
                        return (pipe);
                    }

                    if (req.method != "GET" && req.method != "HEAD") {
                        /* We only deal with GET and HEAD by default */
                        return (pass);
                    }
                    if (req.http.Authorization || req.http.Cookie) {
                        /* Not cacheable by default */
                        return (pass);
                    }
                    return (hash);


}

sub vcl_backend_response {
    # Happens after we have read the response headers from the backend.
    #
    # Here you clean the response headers, removing silly Set-Cookie headers
    # and other mistakes your backend does.
}

sub vcl_deliver {
    # Happens when we have all the pieces we need, and are about to send the
    # response to the client.
    #
    # You can do accounting or modifying the final object here.
if (obj.hits>0) {     #定义在vcl_deliver中，向响应给客户端的报文添加一个自定义首部X-Cache；
   set resp.http.X-Cache = "HIT";
   } else {
   set resp.http.X-Cahce = "MISS";
 }
}

 重新加载配置：

　　

varnish> vcl.list 
200        
active          0 boot


varnish> vcl.load test1 default.vcl
200        
VCL compiled.

varnish> vcl.use test1
200        
VCL 'test1' now active

varnish> vcl.list 
200        
available       0 boot
active          0 test1

    varnish中的内置变量：
            变量种类：
                client
                server
                req
                resp
                bereq
                beresp
                obj
                storage

                bereq
                    bereq.http.HEADERS: 由varnish发往backend server的请求报文的指定首部；
                    bereq.request：请求方法；
                    bereq.url：
                    bereq.proto：
                    bereq.backend：指明要调用的后端主机；

                beresp
                    beresp.proto
                    beresp.status：后端服务器的响应的状态码
                    beresp.reason：原因短语；
                    beresp.backend.ip
                    beresp.backend.name
                    beresp.http.HEADER: 从backend server响应的报文的首部；
                    beresp.ttl：后端服务器响应的内容的余下的生存时长；

                obj
                    obj.ttl: 对象的ttl值；
                    obj.hits：此对象从缓存中命中的次数；

                server
                    server.ip
                    server.hostname

                req

                resp

访问测试：

[root@localhost /]# curl -I http://192.168.100.100:6081/test1.html
HTTP/1.1 200 OK
Date: Sun, 10 Mar 2019 16:26:59 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Sun, 10 Mar 2019 16:26:16 GMT
ETag: "8-583bfea477f63"
Content-Length: 8
Content-Type: text/html; charset=UTF-8
X-Varnish: 327756
Age: 0
Via: 1.1 varnish-v4
X-Cahce: MISS192.168.100.100
Connection: keep-alive

[root@localhost /]# curl -I http://192.168.100.100:6081/test1.html
HTTP/1.1 200 OK
Date: Sun, 10 Mar 2019 16:26:59 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Sun, 10 Mar 2019 16:26:16 GMT
ETag: "8-583bfea477f63"
Content-Length: 8
Content-Type: text/html; charset=UTF-8
X-Varnish: 131104 327757
Age: 2
Via: 1.1 varnish-v4
test-Cache: HIT192.168.100.100
Connection: keep-alive

定义vcl 集群:

vcl 4.0;

backend b1 {
    .host = "...";
    .port = "...";
}

backend b2 {
    .host = "...";
    .port = "...";
}

sub vcl_init {
    new cluster1 = directors.round_robin();
    cluster1.add_backend(b1, 1.0);
    cluster1.add_backend(b2, 1.0);
}

sub vcl_recv {
    set req.backend_hint = cluster1.backend();
}

backend server的定义：
        backend name {
            .attribute = "value";
        }    

        .host: BE主机的IP；
        .port：BE主机监听的PORT；

        .probe: 对BE做健康状态检测；
        .max_connections：并连接最大数量；

    后端主机的健康状态检测方式：
        probe name {
             .attribute = "value";
        }    

        .url: 判定BE健康与否要请求的url; 
        .expected_response：期望响应状态码；默认为200；

        示例1：
            backend websrv1 {
                .host = "172.16.100.68";
                .port = "80";
                .probe = {
                    .url = "/test1.html";
                }
            }

            backend websrv2 {
                .host = "172.16.100.69";
                .port = "80";
                .probe = {
                    .url = "/test1.html";
                }
            }

配置文件详解：

[root@localhost varnish]# cat default.vcl
#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.

# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;

# Default backend definition. Set this to point to your content server.
backend default {         #定义后端服务器主机
   # .host = "127.0.0.1";  
   # .port = "8080";
     .host = "192.168.100.101";
     .port = "80";
}
backend web1 {
     .host = "192.168.100.101";
     .port = "80";
     .probe = {
    .url = "/tan.jpg";
}
}
backend web2  {
     .host = "192.168.100.103";
     .port = "80";
     .probe = {
    .url = "/tan.jpg";

}

}
import directors;

sub vcl_init {    #定义后端服务器集群
    new cluster1 = directors.round_robin();
    cluster1.add_backend(web1);
    cluster1.add_backend(web2);
}


*******************************************************************************************

vcl_recv是在Varnish完成对请求报文的解码为基本数据结构后第一个要执行的子例程，它通常有四个主要用途：
(1)修改客户端数据以减少缓存对象差异性；比如删除URL中的www.等字符；
(2)基于客户端数据选用缓存策略；比如仅缓存特定的URL请求、不缓存POST请求等；
(3)为某web应用程序执行URL重写规则；
(4)挑选合适的后端Web服务器；

可以使用下面的终止语句，即通过return()向Varnish返回的指示操作：
pass：绕过缓存，即不从缓存中查询内容或不将内容存储至缓存中；
pipe：不对客户端进行检查或做出任何操作，而是在客户端与后端服务器之间建立专用“管道”，并直接将数据在二者之间进行传送；此时，keep-alive连接中后续传送的数据也都将通过此管道进行直接传送，并不会出现在任何日志中；
lookup：在缓存中查找用户请求的对象，如果缓存中没有其请求的对象，后续操作很可能会将其请求的对象进行缓存；
error：由Varnish自己合成一个响应报文，一般是响应一个错误类信息、重定向类信息或负载均衡器返回的后端web服务器健康状态检查类信息；

vcl_recv也可以通过精巧的策略完成一定意义上的安全功能，以将某些特定的攻击扼杀于摇篮中。同时，它也可以检查出一些拼写类的错误并将其进行修正等。

Varnish默认的vcl_recv专门设计用来实现安全的缓存策略，它主要完成两种功能：
(1)仅处理可以识别的HTTP方法，并且只缓存GET和HEAD方法；
(2)不缓存任何用户特有的数据；

安全起见，一般在自定义的vcl_recv中不要使用return()终止语句，而是再由默认vcl_recv进行处理，并由其做出相应的处理决策。

**********************************************************************************************************************************************
sub vcl_recv {

    # Happens before we check if we have this in cache already.
    #
    # Typically you clean up the request here, removing cookies you don't need,
    # rewriting the request, etc.

                    if (req.url ~ "(?i).(jpg|png|gif)$") {
                    set req.backend_hint = web1;
                } else {
                    set req.backend_hint = web2;
                }    
                    if (req.method == "PRI") {    #如果是http 2.0 不缓存
                        /* We do not support SPDY or HTTP/2.0 */
                        return (synth(405));
                    }

                    set req.backend_hint = cluster1.backend();     #设置默认的后端缓存集群
                    if (req.method != "GET" &&
                      req.method != "HEAD" &&
                      req.method != "PUT" &&
                      req.method != "POST" &&
                      req.method != "TRACE" &&
                      req.method != "OPTIONS" &&
                      req.method != "DELETE") {
                        /* Non-RFC2616 or CONNECT which is weird. */
                        return (pipe);    #如果请求方法都不是上面这些，就直接发到pipe,对客户端进行检查或做出任何操作，而是在客户端与后端服务器之间建立专用“管道”，并直接将数据在二者之间进行传送；此时，keep-alive连接中后续传送的数据也都将通过此管道进行直接传送，并不会出现在任何日志中；
                    }

                    if (req.method != "GET" && req.method != "HEAD") {
                        /* We only deal with GET and HEAD by default */
                        return (pass);          #绕过缓存，即不从缓存中查询内容或不将内容存储至缓存中；
                    }
                    if (req.http.Authorization || req.http.Cookie) {
                        /* Not cacheable by default */
                        return (pass);          #绕过缓存，即不从缓存中查询内容或不将内容存储至缓存中；

}
 return (hash);                   #交给hash 处理，判断是否能够缓存
} 
sub vcl_backend_response { 
# Happens after we have read the response headers from the backend. 
#
 # Here you clean the response headers, removing silly Set-Cookie headers
 # and other mistakes your backend does. 
if (beresp.http.cache-control !~ "s-maxage") {   #定义varnish 定义对于特定资源的缓存时间

if (bereq.url ~ "(?i).jpg$") { 
set beresp.ttl = 3600s; 
unset beresp.http.Set-Cookie;
 } 
if (bereq.url ~ "(?i).css$") {
 set beresp.ttl = 600s;
 unset beresp.http.Set-Cookie; 
} 
} 
}
 *******************************************************************************************

5、vcl_fetch

如前面所述，相对于vcl_recv是根据客户端的请求作出缓存决策来说，vcl_fetch则是根据服务器端的响应作出缓存决策。在任何VCL状态引擎中返回的pass操作都将由vcl_fetch进行后续处理。vcl_fetch中有许多可用的内置变量，比如最常用的用于定义某对象缓存时长的beresp.ttl变量。通过return()返回给varnish的操作指示有：
(1)deliver：缓存此对象，并将其发送给客户端(经由vcl_deliver)；
(2)hit_for_pass：不缓存此对象，但可以导致后续对此对象的请求直接送达到vcl_pass进行处理；
(3)restart：重启整个VCL，并增加重启计数；超出max_restarts限定的最大重启次数后将会返回错误信息；
(4)error code [reason]：返回指定的错误代码给客户端并丢弃此请求；

默认的vcl_fetch放弃了缓存任何使用了Set-Cookie首部的响应。

***************************************************************************************************************




sub vcl_deliver {
    # Happens when we have all the pieces we need, and are about to send the
    # response to the client.
    #
    # You can do accounting or modifying the final object here.
if (obj.hits>0) {              #判断在响应客户端时，如果命中缓存就响应HIT ,否则  MISS
   set resp.http.test-Cache = "HIT" + server.ip;
   } else {
   set resp.http.X-Cahce = "MISS"   + server.ip;
 }
}

[root@localhost varnish]#