关于HTTPHeader的ContentLength值

from:

http://www.eb163.com/club/home-space-uid-9633-do-blog-id-582.html 

这两天在做一个获取远程文件大小的小项目。在网上搜索了一下，最后asp中使用了下面这个函数。

1. Function getRemoteFileSize(url)
2.     Dim xmlHTTP
3.     Set xmlHTTP = Server.CreateObject("MSXML2.XMLHTTP")
4.     xmlHTTP.open "get", url, false
5.     '下一句非常关键，否则要预加载全部的文件信息后才返回header头信息
6.     xmlHTTP.setRequestHeader "range", "bytes=-1"
7.     xmlHTTP.send()
8.     getRemoteFileSize = Split(xmlHTTP.GetResponseHeader("Content-Range"),"/")(1)
9.     Set xmlHTTP = Nothing
10. End Function

功能上是没什么问题，但是数据量太大了，时间上还是没办法。运行5000条数据要等半个小时。在网上看到有人讲php运行比较快。于是一边跑着asp程序，一边研究php实现。刚开始学习php，着实是费了一些劲。同样用了一个现成的函数。

1.  function remote_file_size ($url) 
2.  { 
3.    $head = ""; 
4.    $url_p = parse_url($url); 
5.    $host = $url_p["host"]; 
6.    $path = $url_p["path"]; 
7.   
8.    $fp = fsockopen($host, 80, $errno, $errstr, 20); 
9.    if(!$fp) 
10.    { return false; } 
11.    else 
12.    { 
13.        fputs($fp, "HEAD ".$url." HTTP/1.1\r\n"); 
14.        fputs($fp, "HOST: dummy\r\n"); 
15.        fputs($fp, "Connection: close\r\n\r\n"); 
16.        $headers = ""; 
17.        while (!feof($fp)) { 
18.            $headers .= fgets ($fp, 128); 
19.        } 
20.    } 
21.    fclose ($fp); 
22.    $return = false; 
23.    $arr_headers = explode("\n", $headers); 
24.    foreach($arr_headers as $header) { 
25.        $s = "Content-Length: "; 
26.        if(substr(strtolower ($header), 0, strlen($s)) == strtolower($s)) { 
27.            $return = substr($header, strlen($s)); 
28.            break; 
29.        } 
30.    } 
31.    return $return; 
32. } 

php这个函数来做的时候，以为判断返回值为 0 的就是文件不存在了。结果却出人意料。所有不存在的文件返回长度都是1308 Byte。接着baidu,google终于在一角落里找到一点信息。
原来：
错误文件的长度都是1308

小小经验，积少成多。记下来，要不哪天又忘记了。随便研究了一下http头，随手记下。
******************************************************************
　 HTTP（HyperTextTransferProtocol）是超文本传输协议的缩写，它用于传送WWW方式的数据，关于HTTP协议的详细内容请参 考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URI、协议版本、以及包含请求修饰符、客户 信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应，相应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以 及可能的实体内容。
　　通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行，一个或者多个 头域，一个只是头域结束的空行和可选的消息体组成。HTTP的头域包括通用头，请求头，响应头和实体头四个部分。每个头域由一个域名，冒号（:）和域值三 部分组成。域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被扩展为多行，在每行开始处，使用至少一个空格或制表符。

1. Accept：告诉WEB服务器自己接受什么介质类型，*/* 表示任何类型，type/* 表示该类型下的所有子类型，type/sub-type。

2. Accept-Charset：   浏览器申明自己接收的字符集
   Accept-Encoding：  浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate）
   Accept-Language：：浏览器申明自己接收的语言
                      语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等。

3. Accept-Ranges：WEB服务器表明自己是否接受获取其某个实体的一部分（比如文件的一部分）的请求。
                  bytes：表示接受，none：表示不接受。

4. Age：当代理服务器用自己缓存的实体去响应请求时，用该头部表明该实体从产生到现在经过多长时间了。

5. Authorization：当客户端接收到来自WEB服务器的 WWW-Authenticate 响应时，用该头部来回应自己的身份验证信息给WEB服务器。

6. Cache-Control：请求：no-cache（不要缓存的实体，要求现在从WEB服务器去取）
                       max-age：（只接受 Age 值小于 max-age 值，并且没有过期的对象）
                       max-stale：（可以接受过去的对象，但是过期时间必须小于 max-stale 值）
                       min-fresh：（接受其新鲜生命期大于其当前 Age 跟 min-fresh 值之和的缓存对象）
                  响应：public(可以用 Cached 内容回应任何用户)
                        private（只能用缓存内容回应先前请求该内容的那个用户）
                        no-cache（可以缓存，但是只有在跟WEB服务器验证了其有效后，才能返回给客户端）
                        max-age：（本响应包含的对象的过期时间）
                  ALL:  no-store（不允许缓存）

7. Connection：请求：close（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，断开连接，不要等待本次连接的后续请求了）。
                     keepalive（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，保持连接，等待本次连接的后续请求）。
               响应：close（连接已经关闭）。
                     keepalive（连接保持着，在等待本次连接的后续请求）。
   Keep-Alive：如果浏览器请求保持连接，则该头部表明希望 WEB 服务器保持连接多长时间（秒）。
               例如：Keep-Alive：300

8. Content-Encoding：WEB服务器表明自己使用了什么压缩方法（gzip，deflate）压缩响应中的对象。
                     例如：Content-Encoding：gzip                 
   Content-Language：WEB 服务器告诉浏览器自己响应的对象的语言。

   Content-Length：  WEB 服务器告诉浏览器自己响应的对象的长度。
                     例如：Content-Length: 26012
   Content-Range：   WEB 服务器表明该响应包含的部分对象为整个对象的哪个部分。
                     例如：Content-Range: bytes 21010-47021/47022
   Content-Type：    WEB 服务器告诉浏览器自己响应的对象的类型。
                     例如：Content-Type：application/xml

9. ETag：就是一个对象（比如URL）的标志值，就一个对象而言，比如一个 html 文件，如果被修改了，其 Etag 也会别修改，
         所以，ETag 的作用跟 Last-Modified 的作用差不多，主要供 WEB 服务器判断一个对象是否改变了。
         比如前一次请求某个 html 文件时，获得了其 ETag，当这次又请求这个文件时，浏览器就会把先前获得的 ETag 值发送给
         WEB 服务器，然后 WEB 服务器会把这个 ETag 跟该文件的当前 ETag 进行对比，然后就知道这个文件有没有改变了。
       

10. Expired：WEB服务器表明该实体将在什么时候过期，对于过期了的对象，只有在跟WEB服务器验证了其有效性后，才能用来响应客户请求。
             是 HTTP/1.0 的头部。
             例如：Expires：Sat, 23 May 2009 10:02:12 GMT

11. Host：客户端指定自己想访问的WEB服务器的域名/IP 地址和端口号。
          例如：Host：rss.sina.com.cn

12. If-Match：如果对象的 ETag 没有改变，其实也就意味著对象没有改变，才执行请求的动作。
    If-None-Match：如果对象的 ETag 改变了，其实也就意味著对象也改变了，才执行请求的动作。

13. If-Modified-Since：如果请求的对象在该头部指定的时间之后修改了，才执行请求的动作（比如返回对象），否则返回代码304，告诉浏览器该对象没有修改。
                       例如：If-Modified-Since：Thu, 10 Apr 2008 09:14:42 GMT
    If-Unmodified-Since：如果请求的对象在该头部指定的时间之后没修改过，才执行请求的动作（比如返回对象）。

14. If-Range：浏览器告诉 WEB 服务器，如果我请求的对象没有改变，就把我缺少的部分给我，如果对象改变了，就把整个对象给我。
              浏览器通过发送请求对象的 ETag 或者 自己所知道的最后修改时间给 WEB 服务器，让其判断对象是否改变了。
              总是跟 Range 头部一起使用。

15. Last-Modified：WEB 服务器认为对象的最后修改时间，比如文件的最后修改时间，动态页面的最后产生时间等等。
                   例如：Last-Modified：Tue, 06 May 2008 02:42:43 GMT

16. Location：WEB 服务器告诉浏览器，试图访问的对象已经被移到别的位置了，到该头部指定的位置去取。
              例如：Location：
                       

17. Pramga：主要使用 Pramga: no-cache，相当于 Cache-Control： no-cache。
            例如：Pragma：no-cache

18. Proxy-Authenticate： 代理服务器响应浏览器，要求其提供代理身份验证信息。
    Proxy-Authorization：浏览器响应代理服务器的身份验证请求，提供自己的身份信息。

19. Range：浏览器（比如 Flashget 多线程下载时）告诉 WEB 服务器自己想取对象的哪部分。
           例如：Range: bytes=1173546-

20. Referer：浏览器向 WEB 服务器表明自己是从哪个 网页/URL 获得/点击 当前请求中的网址/URL。
             例如：Referer：http://www.sina.com/

21. Server: WEB 服务器表明自己是什么软件及版本等信息。
            例如：Server：Apache/2.0.61 (Unix)

22. User-Agent: 浏览器表明自己的身份（是哪种浏览器）。
                例如：User-Agent：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14

23. Transfer-Encoding: WEB 服务器表明自己对本响应消息体（不是消息体里面的对象）作了怎样的编码，比如是否分块（chunked）。
                       例如：Transfer-Encoding: chunked

24. Vary: WEB服务器用该头部的内容告诉 Cache 服务器，在什么条件下才能用本响应所返回的对象响应后续的请求。
          假如源WEB服务器在接到第一个请求消息时，其响应消息的头部为：Content-Encoding: gzip; Vary: Content-Encoding
那么 Cache 服务器会分析后续请求消息的头部，检查其 Accept-Encoding，是否跟先前响应的 Vary 头部值一致，即是否使用
  相同的内容编码方法，这样就可以防止 Cache 服务器用自己 Cache 里面压缩后的实体响应给不具备解压能力的浏览器。
   例如：Vary：Accept-Encoding

25. Via： 列出从客户端到 OCS 或者相反方向的响应经过了哪些代理服务器，他们用什么协议（和版本）发送的请求。
   当客户端请求到达第一个代理服务器时，该服务器会在自己发出的请求里面添加 Via 头部，并填上自己的相关信息，当下一个代理服务器
    收到第一个代理服务器的请求时，会在自己发出的请求里面复制前一个代理服务器的请求的Via 头部，并把自己的相关信息加到后面，
     以此类推，当 OCS 收到最后一个代理服务器的请求时，检查 Via 头部，就知道该请求所经过的路由。
          例如：Via：1.0 236-81.D07071953.sina.com.cn:80 (squid/2.6.STABLE13)

============================================================================================================================
HTTP 请求消息头部实例：
Host：rss.sina.com.cn
User-Agent：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept：text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language：zh-cn,zh;q=0.5
Accept-Encoding：gzip,deflate
Accept-Charset：gb2312,utf-8;q=0.7,*;q=0.7
Keep-Alive：300
Connection：keep-alive
Cookie：userId=C5bYpXrimdmsiQmsBPnE1Vn8ZQmdWSm3WRlEB3vRwTnRtW   <-- Cookie
If-Modified-Since：Sun, 01 Jun 2008 12:05:30 GMT
Cache-Control：max-age=0

HTTP 响应消息头部实例：
Status：OK - 200  <-- 响应状态码，表示 web 服务器处理的结果。
Date：Sun, 01 Jun 2008 12:35:47 GMT
Server：Apache/2.0.61 (Unix)
Last-Modified：Sun, 01 Jun 2008 12:35:30 GMT
Accept-Ranges：bytes
Content-Length：18616
Cache-Control：max-age=120
Expires：Sun, 01 Jun 2008 12:37:47 GMT
Content-Type：application/xml
Age：2
X-Cache：HIT from 236-41.D07071951.sina.com.cn  <-- 反向代理服务器使用的 HTTP 头部
Via：1.0 236-41.D07071951.sina.com.cn:80 (squid/2.6.STABLE13)
Connection：close