• 豆知识( DNS; HTTP入门;网络协议)


    DNS入门知识

    DNS服务器

    通过DNS服务器,才能知道某个域名的IP地址到底是什么。

    Linux系统里面,DNS服务器的IP地址保存在/etc/resolv.conf文件

    使用工具软件dig可以查询:

    $ dig math.stackexchange.com

    域名的层级

    math.stackexchange.com显示为math.stackexchange.com.实际上省略了尾部root根域名。

    www.example.com是3层域名:

    com是top-level domain, example是second-level domain,

    www是三级域名,这个用户可以在自己的域名里面为服务器分配任意的名字。

    主机名.次级域名.顶级域名.根域名
    
    # 即
    
    host.sld.tld.root

    根域名服务器

    DNS服务器根据域名的层级,进行分级查询。

    每一级域名都有自己的NS(Name server)域名服务器记录,NS记录指向该级域名的域名服务器。这些服务器知道下一级域名的各种记录。

    1. 从"根域名服务器"查到"顶级域名服务器"的NS记录和A记录(IP地址)
    2. 从"顶级域名服务器"查到"次级域名服务器"的NS记录和A记录(IP地址)
    3. 从"次级域名服务器"查出"主机名"的IP地址

    NS 记录的查询

    dig命令可以单独查看每一级域名的NS记录。

    $ dig ns com
    $ dig ns stackexchange.com

    DNS的记录类型

    域名与IP之间的对应关系,称为"记录"(record)。根据使用场景,"记录"可以分成不同的类型(type),前面已经看到了有A记录和NS记录。



    HTTP协议入门

     HTTP/2 让它成为技术热点。

    二、HTTP/1.0

    1996年5月,HTTP/1.0 版本发布,内容大大增加。

    首先,任何格式的内容都可以发送: text ,image, video等等。

    其次,引人POST, HEAD命令

    再次,请求,回应格式变了,每次通信必须包括header信息。其他status code状态码,多字符集支持,缓存cache, 内容编码content encoding。

    下面是一个1.0版的HTTP请求的例子。

    GET / HTTP/1.0
    User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
    Accept: */*

    2.3 回应格式

    服务器的回应如下。

    
    HTTP/1.0 200 OK 
    Content-Type: text/plain
    Content-Length: 137582
    Expires: Thu, 05 Dec 1997 16:00:00 GMT
    Last-Modified: Wed, 5 August 1996 15:55:28 GMT
    Server: Apache 0.84
    
    <html>
      <body>Hello World</body>
    </html>

    2.4 Content-Type 字段

    关于字符的编码,1.0版规定,头信息必须是 ASCII 码,后面的数据可以是任何格式。因此,服务器回应的时候,必须告诉客户端,数据是什么格式,这就是Content-Type字段的作用。常用类型:

    • text/plain
    • text/html
    • text/css
    • image/jpeg
    • image/png

    这些数据类型总称MIME type,包括一级类型/二级类型。

    2.5 Content-Encoding 字段

    由于发送的数据可以是任何格式,因此可以把数据压缩后再发送。Content-Encoding字段说明数据的压缩方法。

    客户端在请求时,用Accept-Encoding字段说明自己可以接受哪些压缩方法

    Accept-Encoding: gzip, deflate

    2.6 缺点

    HTTP/1.0 版的主要缺点是,每个TCP连接只能发送一个请求。

    发送数据完毕,连接就关闭。

    TCP连接的新建成本很高,因为需要客户端和服务器三次握手,并且开始时发送速率较慢(slow start)。所以,HTTP 1.0版本的性能比较差。随着网页加载的外部资源越来越多,这个问题就愈发突出了。

    为了解决这个问题,有些浏览器在请求时,用了一个非标准的Connection字段。

    Connection: keep-alive
    

    这个字段要求服务器不要关闭TCP连接,以便其他请求复用。服务器同样回应这个字段。

    一个可以复用的TCP连接就建立了,但不是根本的解决方法。

    三、HTTP/1.1

    97年1月,HTTP/1.1 版本发布。 直到现在还是最流行的版本。

    3.1 持久连接

    1.1 版的最大变化,就是引入了持久连接(persistent connection),客户端在最后一个请求时,发送Connection: close,明确要求服务器关闭TCP连接。

    3.2 管道机制

    1.1 版还引入了管道机制(pipelining),即在同一个TCP连接里面,客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率。

    3.4 分块传输编码Transfer-Encoding: chunked

    使用Content-Length字段的前提条件是,服务器发送回应之前,必须知道回应的数据长度。

    对于一些很耗时的动态操作来说,这意味着,服务器要等到所有操作完成,才能发送数据,显然这样的效率不高。更好的处理方法是,产生一块数据,就发送一块,采用"流模式"(stream)取代"缓存模式"。

    3.5 其他功能

    1.1版还新增了许多动词方法:PUTPATCHHEAD、 OPTIONSDELETE

    3.6 缺点

    虽然1.1版允许复用TCP连接,但是同一个TCP连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。要是前面的回应特别慢,后面就会有许多请求排队等着。这称为"队头堵塞"(Head-of-line blocking)。

    为了避免这个问题,只有两种方法:一是减少请求数,二是同时多开持久连接

    五、HTTP/2

    2015年,HTTP/2 发布。它不叫 HTTP/2.0,是因为标准委员会不打算再发布子版本了,下一个新版本将是 HTTP/3。

    5.1 二进制协议

    HTTP/1.1 版的头信息肯定是文本(ASCII编码),数据体可以是文本,也可以是二进制。HTTP/2 则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为"帧"(frame):头信息帧和数据帧。2进制解析更快。

    5.2 多工 Multiplexing

    HTTP/2 复用TCP连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应,而且不用按照顺序一一对应,这样就避免了"队头堵塞"。

    举例来说,在一个TCP连接里面,服务器同时收到了A请求和B请求,于是先回应A请求,结果发现处理过程非常耗时,于是就发送A请求已经处理好的部分, 接着回应B请求,完成后,再发送A请求剩下的部分。

    这样双向的、实时的通信,就叫做多工(Multiplexing)。

    5.3 数据流

    因为 HTTP/2 的数据包是不按顺序发送的,同一个连接里面连续的数据包,可能属于不同的回应。因此,必须要对数据包做标记,指出它属于哪个回应。

    客户端还可以指定数据流的优先级。优先级越高,服务器就会越早回应。

    5.4 头信息压缩

    HTTP 协议不带有状态,每次请求都必须附上所有信息。所以,请求的很多字段都是重复的,比如CookieUser Agent,一模一样的内容,每次请求都必须附带,这会浪费很多带宽,也影响速度。

    HTTP/2 对这一点做了优化,引入了头信息压缩机制(header compression)。

    一方面,头信息使用gzipcompress压缩后再发送;另一方面,客户端和服务器同时维护一张头信息表,所有字段都会存入这个表,生成一个索引号,以后就不发送同样字段了,只发送索引号,这样就提高速度了。

    5.5 服务器推送

    HTTP/2 允许服务器未经请求,主动向客户端发送资源,这叫做服务器推送(server push)。

    常见场景是客户端请求一个网页,这个网页里面包含很多静态资源。正常情况下,客户端必须收到网页后,解析HTML源码,发现有静态资源,再发出静态资源请求。其实,服务器可以预期到客户端请求网页后,很可能会再请求静态资源,所以就主动把这些静态资源随着网页一起发给客户端了。



    你应该知道的HTTP基础知识

    https://www.jianshu.com/p/e544b7a76dac

    • HTTP请求报文格式
    • HTTP响应报文格式
    • Header
    • 请求体的3种形式
    • 推荐调试工具
    • HTTP的组成图示

    1. HTTP请求报文格式

    HTTP 的请求报文分为三个部分 请求行、请求头和请求体,格式如图:

     

    1.1 请求行

    请求行(Request Line)分为三个部分:请求方法请求地址协议及版本,以CRLF( )结束。
    HTTP/1.1 定义的请求方法有8种:GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、TRACE,最常的两种GET和POST,如果是RESTful接口的话一般会用到GET、POST、DELETE、PUT。

    3. Header

    Header可用于传递一些附加信息,格式: 键: 值,注意冒号后面有一个空格!如:

    Content-Length: 1024
    Content-Type: text/plain

    3.1 请求和响应常见通用Header

    名称作用
    Content-Type 请求体/响应体的类型,如:text/plain、application/json
    Accept 说明接收的类型,可以多个值,用,(半角逗号)分开
    Content-Length 请求体/响应体的长度,单位字节
    Content-Encoding 请求体/响应体的编码格式,如gzip,deflate
    Accept-Encoding 告知对方我方接受的Content-Encoding
    ETag 给当前资源的标识,和Last-ModifiedIf-None-MatchIf-Modified-Since配合,用于缓存控制
    Cache-Control 取值为一般为no-cachemax-age=XX,XX为个整数,表示该资源缓存有效期(秒)  

    3.2 常见request Header 

    名称作用
    Authorization 用于设置身份认证信息
    User-Agent 用户标识,如:OS和浏览器的类型和版本
    If-Modified-Since 值为上一次服务器返回的 Last-Modified 值,用于确认某个资源是否被更改过,没有更改过(304)就从缓存中读取
    If-None-Match 值为上一次服务器返回的 ETag 值,一般会和If-Modified-Since一起出现
    Cookie 已有的Cookie
    Referer 表示请求引用自哪个地址,比如你从页面A跳转到页面B时,值为页面A的地址
    Host 请求的主机和端口号

    3.3 常见response Header

    名   称作用
    Date 服务器的日期
    Last-Modified 该资源最后被修改时间
    Transfer-Encoding 取值为一般为chunked,出现在Content-Length不能确定的情况下,表示服务器不知道响应版体的数据大小,一般同时还会出现Content-Encoding响应头
    Set-Cookie 设置Cookie
    Location 重定向到另一个URL,如输入浏览器就输入baidu.com回车,会自动跳到 https://www.baidu.com ,就是通过这个响应头控制的
    Server 后台服务器

    4. 请求体的3种形式

    根据应用场景的不同,HTTP请求的请求体有三种不同的形式。

    第一种:

    移动开发者常见的,请求体是任意类型,服务器不会解析请求体,请求体的处理需要自己解析,如 POST JSON时候就是这类。

    第二种:

    第二种和第三种都有固定格式的,是服务器端开发人员最先了解到的两种。这里的格式要求就是:

    URL中Query String的格式要求:多个键值对之间用&连接,键与值之前用=连接,且只能用ASCII字符,非ASCII字符需使用UrlEncode编码。

     

     

    第三种:

    第三种请求体的请求体被分成为多个部分,文件上传时会被使用,这种格式最先应该是被用于邮件传输中,每个字段/文件都被boundary(Content-Type中指定)分成单独的段,每段以-- 加 boundary开头,然后是该段的描述头,描述头之后空一行接内容,请求结束的标制为boundary后面加--,结构见下图:

     
     

    区分是否被当成文件的关键是Content-Disposition是否包含filename,因为文件有不同的类型,所以还要使用Content-Type指示文件的类型,如果不知道是什么类型取值可以为application/octet-stream表示该文件是个二进制文件,如果不是文件则Content-Type可以省略。

    下图为一个带有文件的上传的请求体原文:

     

    ⚠️

    第二、三种请求体需求配合特定的Content-Type请求头,如:
    第二种配合Content-Type:application/x-www-form-urlencoded
    第三种配合Content-Type: multipart/form-data; boundary={boundary}
    *上面的form-data也可以是mixedalternativedigestparallel,但我只用到了form-data
    如果两者没有相配合,那么服务器不会解析请求体,也就是说只会当成第一种情况!

    表单或者模拟表单 指的就是第二种和第三种(multipart/form-data)

    5. 推荐调试工具

    5.1 cURL

    cURL 相当强大命令行工具,基本上你知道的上层协议它都支持,具体使用方法就自行发现了,下图为发起一个HTTP GET请求并打印请求和响应的详细内容。

     
    cURL截图

    5.2 bat

    batastaxie(谢孟军) 用Golang开发的类似cURL的命令行API调试工具,可以方便的打印出HTTP请求和响应,还能高亮Header、格式化JSON等功能,非常好用,API调式神器。

     
    bat截图

    5.3 nc

    nc 是 netcat 的简写,被称为“网络工具中的瑞士军刀”,不过我个人是把它当成Socket用,经常使用它来打印各种请求,当然它的作用可不只是这样,你也可以用它发起各式各样的请求,以前调式POP3也是用的它,只不过请求报文得自己写,上面有个图“HTTP请求和响应”就是用nc完成的。


     
  • 相关阅读:
    产品团队管理
    产品版本规划
    gitlab服务器IP调整后修改domian或ip
    Linux服务器性能分析与调优
    linux设置别名连接远程服务器
    Yaml文件
    Alias采样算法
    Graph embedding(2)----- DeepWalk、Node2vec、LINE
    python学习(32)---networkx
    python报错
  • 原文地址:https://www.cnblogs.com/chentianwei/p/9485301.html
Copyright © 2020-2023  润新知