• 论HTTP请求大小


    论HTTP请求大小

    HTTP分为URI,HEADER,Body三个部分。每个部分都可以包含请求信息,那么每个部分是否都有请求大小限制呢?刚开始以为这个问题很容易找到答案,后来发现这也是个挺复杂的问题。

    URI

    首先是URI,我们知道,在GET请求中,请求参数是放在URL进行传递的,所以,HTTP GET的请求最关心的一个问题:能有多长?我能放多少参数?URI

    从HTTP 1.1协议中开始找:(RFC 2616)

    The HTTP protocol does not place any a priori limit on the length of a URI

    所以明确一点的是HTTP协议是没有显式限制URI的长度的。理论上来说你在URI中传递多少参数都是可以的。

    但是现实往往无法永远照进阳光:

    1 浏览器限制

    所有主流浏览器都会对URI的长度进行限制。如果你在浏览器中输入过长的URI,那么浏览器会自动进行截断。各个浏览器对URI长度的限制各不相同,甚至不同版本也不一样。大约一个概念,2000字符以内的URI都能符合所有主流浏览器的要求。

    2 服务端限制

    即使客户端同意发送无限长度的URI,但是服务器一方一般都是有长度限制的。一般服务是没有专门针对URI的参数限制的,但是由于URI是会包含在request header中的,所以对header的大小限制是会对URI起作用的,比如nginx的(large_client_header_buffers)这个属性,它默认是4k。

    题外话

    这里的“URI是包含在request header中的” 这句话其实是有问题的。URI在HTTP协议中是叫做request-Line的,如果具体看协议,是会发现request-Line和request-header是两个不一样的,就是说request的请求其实该分为request-line, request-header, request-body三个部分的(具体可以看http://www.ietf.org/rfc/rfc2616.txt 第4和5章)。但是好像使用的时候都默认将header中理解为包含了request-line(比如这篇文章http://trafficserver.apache.org/docs/v2/sdk/HTTPHeaders.html)。这里估计是概念和使用的时候导致问题,不必深究了,所以我们不妨将request-line理解为包含在header中就好。

    不管如何,综上所述,这里的URI不论是客户端还是服务端,基本是被默认限制住的。

    Header

    header中存放的信息非常多,比如request-line,cookie,还有各种key-value的特定header字段和值。有点时候,我们也会往header中添加一些自定义的属性。header的长度和URI的情况是一样的。协议中并没有显示限制header的大小。理论上在header中放多少属性都是可以的。

    但是实际上:

    1 浏览器限制

    各个主流浏览器限制几十k~几百M不等的限制。基本上能满足平时的需求了。但是如果这个长度对你业务有很大影响的话,建议还是亲自测试下。

    2 服务端限制

    比如nginx的large_client_header_buffers就限制了header的长度。你也可以自己设置。

    可能会影响header的参数还有:

    client_header_buffer_size

    client_header_timeout

    各参数可以参考:http://wiki.nginx.org/HttpCoreModule

    Body

    body和URI,header非常不一样,不一样的地方原因在于文件上传。HTTP是支持request中带文件的,那么文件的二进制数据不会放在URI或者header里面,它是放在body里面的。那么这个body的大小就一定不能默认限制太小,尤其是客户端。

    首先理论上,协议是没有对body大小做任何限制的。

    其次,浏览器也没有对body做任何大小限制,因为如果浏览器做了大小限制就意味着它直接影响了你的服务功能。

    所以对body的限制的任务就放在了服务器上了。这里就我最熟悉的nginx+php-fpm来看下有哪些地方可以对body进行限制:

    1 nginx有一些设置会对body大小产生影响

    client_max_body_size,这个参数可以限制body的大小,默认是1m

    client_body_timeout,当body太大,或者网络太差的时候,这个也有可能会影响请求的成功率的。

    2 php.ini也有一些设置会对上传的body数据产生影响

    upload_max_filesize,限制最大上传文件大小

    post_max_size ,限制post的大小

    memory_limit,限制内存使用大小

    max_execution_time,这个是php最大执行时间,也有可能影响请求成功率的。

    HTTP请求大小有什么影响

    首先是安全因素考虑。

    试想一下一个网站的服务器是不限制body大小的,那么它就是可以被黑客利用攻击的地方了。黑客利用这一点往HTTP POST的body中传递非常大(比如几M)的请求。那么比如像nginx+php-fpm这样的,就会占用了服务器一个php进程专门处理这个请求,就会导致你对外无法提供其他的服务了,你的服务就瘫痪了,这就是DDOS攻击。

    其次是文件上传服务考虑。

    文件上传有两种情况:

    你可能经常遇到为什么文件上传失败?那么大多是上文说的几个设置没有设置对。

    其次,文件上传大小是不是设置越大越好?答案必须是否定的,理由也是安全考虑。满足需求的大小限制就够了。

    这里就可以理解为什么大都把文件上传和业务接口分开来提供了吧。如果你的文件上传服务和业务接口是同一个机器的话,那么就说明你的业务接口可以允许的body大小一定是很大的。换句话说,在这种情境下,你的业务中的所有POST请求都是不安全的!!只要进行DDOS攻击,业务就会瘫痪。

    参考文章

    http://stackoverflow.com/questions/417142/what-is-the-maximum-length-of-a-url-in-different-browsers

    http://www.boutell.com/newfaq/misc/urllength.html

    http://stackoverflow.com/questions/3326210/can-http-headers-be-too-big-for-browsers

    http://admirestator.diandian.com/post/2012-04-28/19237704

    Creative Commons License

    本文基于署名-非商业性使用 3.0许可协议发布,欢迎转载,演绎,但是必须保留本文的署名叶剑峰(包含链接http://www.cnblogs.com/yjf512/),且不得用于商业目的。如您有任何疑问或者授权方面的协商,请与我联系

     
    分类: 开源研究
  • 相关阅读:
    watir-webdriver使用过程中异常
    分治算法
    回溯算法
    线性时间求取第 K 大数
    深度和广度优先搜索算法
    排序优化——模拟栈及三路快排
    排序算法之——归并排序和快速排序
    数据结构和算法之——算法复杂度分析
    LeetCode 10——正则表达式匹配
    线性代数之——复数矩阵
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/2989899.html
Copyright © 2020-2023  润新知