在做爬虫工作之前，永远先做好笔记：
确定要爬取的url，爬取的具体内容是什么，用什么形式展现爬取到的内容。
博客的标题大家也看到了，爬取的是贴吧的源码，也就是说任何贴吧的源码都能爬。
不光第一页还要爬，第二页第三页……都要爬。
确定了上面的内容，那就可以开始代码的编写了。
我最近在玩穿越火线，那就爬穿越火线吧：
首先获取穿越火线贴吧的标准url：
"https://tieba.baidu.com/f?kw=穿越火线"
分析页码不同时url的区别：
第一页："https://tieba.baidu.com/f?kw=穿越火线&ie=utf-8&pn=0"
第二页："https://tieba.baidu.com/f?kw=穿越火线&ie=utf-8&pn=50"
第三页："https://tieba.baidu.com/f?kw=穿越火线&ie=utf-8&pn=100"
对比分析，我们可以知道pn的值等于（页码-1）*50。
那么收集headers信息，就可以开始了：
import requests
class TiebaSpider:
def __init__(self,tieba_name): #实现能够爬取任意贴吧的功能，所以贴吧的名字需要做一个变量出来。
self.tieba_name=tieba_name
self.url="https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26
Safari/537.36 Core/1.63.6814.400QQBrowser/10.3.3005.400"}
def get_url_list(self):#构造url列表
url_list=[]
for i in range(3): #能够爬取三页，i是0，1，2。
url_list.append(self.url.format(i*50))
return url_list
def parse_url(self,url):#发送请求，获取响应
response=requests.get(url,headers=self.headers)
return response.content.decode() #显示源码
def save_html(self,html_str,page_num):#保存html字符串到文件
file_path="{}-第{}页.html".format(self.tieba_name,page_num)
with open(file_path,"w",encoding="utf-8") as f: #创建文件。指定unicode编码为utf-8，很关键的一步。
f.write(html_str)
def run(self):#实现主要逻辑
#1.构造url列表
url_list=self.get_url_list()
#2.遍历，发送请求，获取相应
for url in url_list:
html_str=self.parse_url(url) #把源码存储到html_str变量之中。
#3.保存html字符串
page_num=url_list.index(url)+1 #用index检查是否存在url，并报出索引位置，是从0开始的。
self.save_html(html_str,page_num)
print(url,"爬取成功！")
if __name__=="__main__":
tieba_spider=TiebaSpider("穿越火线") #建立一个穿越火线吧的实例，这样做可以爬任意的贴吧。
tieba_spider.run()
敲爬虫代码的时候，思绪一定要清晰，先打好run()的主要功能，再去一一分别实现出来