DNS入门知识
DNS服务器
通过DNS服务器,才能知道某个域名的IP地址到底是什么。
Linux系统里面,DNS服务器的IP地址保存在/etc/resolv.conf
文件
使用工具软件dig可以查询:
$ dig math.stackexchange.com
域名的层级
名math.stackexchange.com
显示为math.stackexchange.com.实际上省略了尾部root根域名。
www.example.com是3层域名:
com是top-level domain, example是second-level domain,
www是三级域名,这个用户可以在自己的域名里面为服务器分配任意的名字。
主机名.次级域名.顶级域名.根域名
# 即
host.sld.tld.root
根域名服务器
DNS服务器根据域名的层级,进行分级查询。
每一级域名都有自己的NS(Name server)域名服务器记录,NS记录指向该级域名的域名服务器。这些服务器知道下一级域名的各种记录。
- 从"根域名服务器"查到"顶级域名服务器"的NS记录和A记录(IP地址)
- 从"顶级域名服务器"查到"次级域名服务器"的NS记录和A记录(IP地址)
- 从"次级域名服务器"查出"主机名"的IP地址
NS 记录的查询
dig
命令可以单独查看每一级域名的NS记录。
$ dig ns com
$ dig ns stackexchange.com
DNS的记录类型
域名与IP之间的对应关系,称为"记录"(record)。根据使用场景,"记录"可以分成不同的类型(type),前面已经看到了有A
记录和NS
记录。
HTTP协议入门
HTTP/2 让它成为技术热点。
二、HTTP/1.0
1996年5月,HTTP/1.0 版本发布,内容大大增加。
首先,任何格式的内容都可以发送: text ,image, video等等。
其次,引人POST, HEAD命令
再次,请求,回应格式变了,每次通信必须包括header信息。其他status code状态码,多字符集支持,缓存cache, 内容编码content encoding。
下面是一个1.0版的HTTP请求的例子。
GET / HTTP/1.0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
Accept: */*
2.3 回应格式
服务器的回应如下。
HTTP/1.0 200 OK Content-Type: text/plain Content-Length: 137582 Expires: Thu, 05 Dec 1997 16:00:00 GMT Last-Modified: Wed, 5 August 1996 15:55:28 GMT Server: Apache 0.84 <html> <body>Hello World</body> </html>
2.4 Content-Type 字段
关于字符的编码,1.0版规定,头信息必须是 ASCII 码,后面的数据可以是任何格式。因此,服务器回应的时候,必须告诉客户端,数据是什么格式,这就是Content-Type
字段的作用。常用类型:
- text/plain
- text/html
- text/css
- image/jpeg
- image/png
这些数据类型总称MIME type,包括一级类型/二级类型。
2.5 Content-Encoding 字段
由于发送的数据可以是任何格式,因此可以把数据压缩后再发送。Content-Encoding
字段说明数据的压缩方法。
客户端在请求时,用Accept-Encoding
字段说明自己可以接受哪些压缩方法
Accept-Encoding: gzip, deflate
2.6 缺点
HTTP/1.0 版的主要缺点是,每个TCP连接只能发送一个请求。
发送数据完毕,连接就关闭。
TCP连接的新建成本很高,因为需要客户端和服务器三次握手,并且开始时发送速率较慢(slow start)。所以,HTTP 1.0版本的性能比较差。随着网页加载的外部资源越来越多,这个问题就愈发突出了。
为了解决这个问题,有些浏览器在请求时,用了一个非标准的Connection
字段。
Connection: keep-alive
这个字段要求服务器不要关闭TCP连接,以便其他请求复用。服务器同样回应这个字段。
一个可以复用的TCP连接就建立了,但不是根本的解决方法。
三、HTTP/1.1
97年1月,HTTP/1.1 版本发布。 直到现在还是最流行的版本。
3.1 持久连接
1.1 版的最大变化,就是引入了持久连接(persistent connection),客户端在最后一个请求时,发送Connection: close
,明确要求服务器关闭TCP连接。
3.2 管道机制
1.1 版还引入了管道机制(pipelining),即在同一个TCP连接里面,客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率。
3.4 分块传输编码Transfer-Encoding: chunked
使用Content-Length
字段的前提条件是,服务器发送回应之前,必须知道回应的数据长度。
对于一些很耗时的动态操作来说,这意味着,服务器要等到所有操作完成,才能发送数据,显然这样的效率不高。更好的处理方法是,产生一块数据,就发送一块,采用"流模式"(stream)取代"缓存模式"。
3.5 其他功能
1.1版还新增了许多动词方法:PUT
、PATCH
、HEAD
、 OPTIONS
、DELETE
3.6 缺点
虽然1.1版允许复用TCP连接,但是同一个TCP连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。要是前面的回应特别慢,后面就会有许多请求排队等着。这称为"队头堵塞"(Head-of-line blocking)。
为了避免这个问题,只有两种方法:一是减少请求数,二是同时多开持久连接
五、HTTP/2
2015年,HTTP/2 发布。它不叫 HTTP/2.0,是因为标准委员会不打算再发布子版本了,下一个新版本将是 HTTP/3。
5.1 二进制协议
HTTP/1.1 版的头信息肯定是文本(ASCII编码),数据体可以是文本,也可以是二进制。HTTP/2 则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为"帧"(frame):头信息帧和数据帧。2进制解析更快。
5.2 多工 Multiplexing
HTTP/2 复用TCP连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应,而且不用按照顺序一一对应,这样就避免了"队头堵塞"。
举例来说,在一个TCP连接里面,服务器同时收到了A请求和B请求,于是先回应A请求,结果发现处理过程非常耗时,于是就发送A请求已经处理好的部分, 接着回应B请求,完成后,再发送A请求剩下的部分。
这样双向的、实时的通信,就叫做多工(Multiplexing)。
5.3 数据流
因为 HTTP/2 的数据包是不按顺序发送的,同一个连接里面连续的数据包,可能属于不同的回应。因此,必须要对数据包做标记,指出它属于哪个回应。
客户端还可以指定数据流的优先级。优先级越高,服务器就会越早回应。
5.4 头信息压缩
HTTP 协议不带有状态,每次请求都必须附上所有信息。所以,请求的很多字段都是重复的,比如Cookie
和User Agent
,一模一样的内容,每次请求都必须附带,这会浪费很多带宽,也影响速度。
HTTP/2 对这一点做了优化,引入了头信息压缩机制(header compression)。
一方面,头信息使用gzip
或compress
压缩后再发送;另一方面,客户端和服务器同时维护一张头信息表,所有字段都会存入这个表,生成一个索引号,以后就不发送同样字段了,只发送索引号,这样就提高速度了。
5.5 服务器推送
HTTP/2 允许服务器未经请求,主动向客户端发送资源,这叫做服务器推送(server push)。
常见场景是客户端请求一个网页,这个网页里面包含很多静态资源。正常情况下,客户端必须收到网页后,解析HTML源码,发现有静态资源,再发出静态资源请求。其实,服务器可以预期到客户端请求网页后,很可能会再请求静态资源,所以就主动把这些静态资源随着网页一起发给客户端了。
你应该知道的HTTP基础知识
https://www.jianshu.com/p/e544b7a76dac
- HTTP请求报文格式
- HTTP响应报文格式
- Header
- 请求体的3种形式
- 推荐调试工具
- HTTP的组成图示
1. HTTP请求报文格式
HTTP 的请求报文分为三个部分 请求行、请求头和请求体,格式如图:
1.1 请求行
请求行(Request Line)分为三个部分:请求方法、请求地址 和 协议及版本,以CRLF(
)结束。
HTTP/1.1 定义的请求方法有8种:GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、TRACE,最常的两种GET和POST,如果是RESTful接口的话一般会用到GET、POST、DELETE、PUT。
3. Header
Header可用于传递一些附加信息,格式: 键: 值
,注意冒号后面有一个空格!如:
Content-Length: 1024
Content-Type: text/plain
3.1 请求和响应常见通用Header
名称 | 作用 | |
---|---|---|
Content-Type | 请求体/响应体的类型,如:text/plain、application/json | |
Accept | 说明接收的类型,可以多个值,用, (半角逗号)分开 |
|
Content-Length | 请求体/响应体的长度,单位字节 | |
Content-Encoding | 请求体/响应体的编码格式,如gzip,deflate | |
Accept-Encoding | 告知对方我方接受的Content-Encoding | |
ETag | 给当前资源的标识,和Last-Modified 、If-None-Match 、If-Modified-Since 配合,用于缓存控制 |
|
Cache-Control | 取值为一般为no-cache 或max-age=XX ,XX为个整数,表示该资源缓存有效期(秒) |
3.2 常见request Header
名称 | 作用 |
---|---|
Authorization | 用于设置身份认证信息 |
User-Agent | 用户标识,如:OS和浏览器的类型和版本 |
If-Modified-Since | 值为上一次服务器返回的 Last-Modified 值,用于确认某个资源是否被更改过,没有更改过(304)就从缓存中读取 |
If-None-Match | 值为上一次服务器返回的 ETag 值,一般会和If-Modified-Since 一起出现 |
Cookie | 已有的Cookie |
Referer | 表示请求引用自哪个地址,比如你从页面A跳转到页面B时,值为页面A的地址 |
Host | 请求的主机和端口号 |
3.3 常见response Header
名 称 | 作用 |
---|---|
Date | 服务器的日期 |
Last-Modified | 该资源最后被修改时间 |
Transfer-Encoding | 取值为一般为chunked,出现在Content-Length不能确定的情况下,表示服务器不知道响应版体的数据大小,一般同时还会出现Content-Encoding 响应头 |
Set-Cookie | 设置Cookie |
Location | 重定向到另一个URL,如输入浏览器就输入baidu.com回车,会自动跳到 https://www.baidu.com ,就是通过这个响应头控制的 |
Server | 后台服务器 |
4. 请求体的3种形式
根据应用场景的不同,HTTP请求的请求体有三种不同的形式。
第一种:
移动开发者常见的,请求体是任意类型,服务器不会解析请求体,请求体的处理需要自己解析,如 POST JSON时候就是这类。
第二种:
第二种和第三种都有固定格式的,是服务器端开发人员最先了解到的两种。这里的格式要求就是:
URL中Query String的格式要求:多个键值对之间用&
连接,键与值之前用=
连接,且只能用ASCII字符,非ASCII字符需使用UrlEncode
编码。
第三种:
第三种请求体的请求体被分成为多个部分,文件上传时会被使用,这种格式最先应该是被用于邮件传输中,每个字段/文件都被boundary(Content-Type
中指定)分成单独的段,每段以--
加 boundary开头,然后是该段的描述头,描述头之后空一行接内容,请求结束的标制为boundary后面加--
,结构见下图:
区分是否被当成文件的关键是Content-Disposition
是否包含filename
,因为文件有不同的类型,所以还要使用Content-Type
指示文件的类型,如果不知道是什么类型取值可以为application/octet-stream
表示该文件是个二进制文件,如果不是文件则Content-Type
可以省略。
下图为一个带有文件的上传的请求体原文:
⚠️
第二、三种请求体需求配合特定的Content-Type请求头,如:
第二种配合Content-Type:application/x-www-form-urlencoded
第三种配合Content-Type: multipart/form-data; boundary={boundary}
,
*上面的form-data
也可以是mixed
、alternative
、digest
、parallel
,但我只用到了form-data
如果两者没有相配合,那么服务器不会解析请求体,也就是说只会当成第一种情况!
表单或者模拟表单 指的就是第二种和第三种(multipart/form-data)
5. 推荐调试工具
5.1 cURL
cURL 相当强大命令行工具,基本上你知道的上层协议它都支持,具体使用方法就自行发现了,下图为发起一个HTTP GET请求并打印请求和响应的详细内容。
5.2 bat
bat 是astaxie(谢孟军) 用Golang开发的类似cURL的命令行API调试工具,可以方便的打印出HTTP请求和响应,还能高亮Header、格式化JSON等功能,非常好用,API调式神器。
5.3 nc
nc 是 netcat 的简写,被称为“网络工具中的瑞士军刀”,不过我个人是把它当成Socket用,经常使用它来打印各种请求,当然它的作用可不只是这样,你也可以用它发起各式各样的请求,以前调式POP3也是用的它,只不过请求报文得自己写,上面有个图“HTTP请求和响应”就是用nc完成的。