python爬虫爬取的页面使用了gzip压缩的问题

当在headers中加了一个Accept-encoding：......时，返回的页面可能是经过了压缩的；即使没有加这个属性，返回的网页也可能是经过了压缩的（服务器自动压缩的）

我在爬取笔趣阁的某个网页时就遇到了被gzip压缩了的网页

#-*-coding:utf-8 -*-

import time
import re
import gzip
import urllib.request
from bs4 import BeautifulSoup
from io import StringIO
# import StringIO

url = "http://www.shuquge.com/txt/5760/index.html"
header = {"User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36", "Accept-Encoding":""}
page = urllib.request.Request(url, headers = header)
gs = urllib.request.urlopen(page)
# gs = StringIO(gs)
# print(gs)

page_info = gzip.GzipFile(fileobj=gs)

page_info = page_info.read()
page_info = page_info.decode('utf-8')
print(page_info)

里面用了gzip模块，因为一开始看别人的博客以为要用到StringIO结果并不需要。

里面用到了gzip.GzipFile()方法，以及gzip对象的read()方法。