太久没有写爬虫了，掌握的知识不能让他生疏了
想了想写一个按照输入，能查询到豆瓣里的信息
首先，先打开豆瓣的搜索页面
会发现是这样的，左边有一栏标签，然后有个搜索框。
可以点击标签，观察url的变化，发现https://www.douban.com/search?cat=1001&q=中的cat也相对应的发生变化，我这边就先选取几个来，电影，书籍，音乐，游戏。发现除了游戏外，规律是1001,1002，1003.很有意思，然后q=后面的参数就是你要搜索的东西。
那我们要完成的功能，就是在我们自己地方，输入信息，然后输出豆瓣评分等一系列详情。
我这边是在跳转到他的详细页面去爬取数据，当然，如果仅是我最后的那些内容来看，在这个页面就能满足了。
而且我的代码是获得搜索到的第一条数据，如果有更多的需求的话，可以去看一些xpath，然后修改
话不多说，我先获取到修改一条需要修改的url，先写个视图，
def menu(): print("*请输入对应序号，锁定查询范围*") print("********** 1 书籍 **********") print("********** 2 电影 **********") print("********** 3 音乐 **********") print("********** 4 游戏 **********")
这个菜单，表示搜索的标签时什么，然后需要处理下，获取对应url，
def getUrl(x,what): if x == 4: y = 3114 else: y = 1000+x url = 'https://www.douban.com/search?cat={}&q='.format(y)+what getNewUrl(x,url)
那个what指的就是输入的要搜索的内容。
第一条url就这样只做好了，字符串拼一下
然后要获取第二条url，这里用xpath的方法，并输出他
def getNewUrl(x,url): #模拟浏览器 kv = {'user-agent':'Mozilla/5.0'} html = requests.get(url , headers = kv).text s = etree.HTML(html) new_url = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[3]/div[2]/div[1]/div[2]/div/h3/a/@href')[0] print("豆瓣地址:",new_url) spyder(x,new_url)
然后获取到了一条详细页面的url，这时候我们就要去里面找数据了
由于豆瓣的原因，导致这些分区的标题，评分等对应的xpath并不相同，所以我一直在传一个参数x，表示选择的分区，然后再爬虫的函数里分类选择。
def spyder(x,url): #模拟浏览器 kv = {'user-agent':'Mozilla/5.0'} html = requests.get(url , headers = kv).text s = etree.HTML(html) if x == 1: #书籍 title = s.xpath('/html/body/div[3]/h1/span/text()')[0].strip() print("标题：",title) goal = s.xpath('/html/body/div[3]/div[2]/div/div[1]/div[1]/div[1]/div[2]/div/div[2]/strong/text()')[0].strip() print("评分：",goal) chubanshe = s.xpath('//*[@id="info"]/text()') chubanshe1 = s.xpath('//*[@id="info"]/span/text()') #print(chubanshe,chubanshe1) message = [q.strip() for q in chubanshe if q.strip()!=''] message1 = [q.strip() for q in chubanshe1 if q.strip()!='' and q.strip!=':'] isbn = message[len(message)-1] message[len(message)-1] = s.xpath('/html/body/div[3]/div[2]/div/div[1]/div[1]/div[1]/div[1]/div[2]/a/text()')[0].strip() message.append(isbn) text = s.xpath('/html/body/div[3]/div[2]/div/div[1]/div[3]/div[1]/div[1]/div/p/text()')[0].strip() j=0 for i in range(len(message)): if message1[j]==":": j = j+1 print(message1[j],message[i]) j = j+1 print('内容简介:',text) print("********************************************************************") print() print() elif x == 2: #电影 title = s.xpath('/html/body/div[3]/div[1]/h1/span[1]/text()')[0].strip() print("title:",title) goal = s.xpath('/html/body/div[3]/div[1]/div[3]/div[1]/div[1]/div[1]/div[2]/div[1]/div[2]/strong/text()')[0].strip() print("评分",goal) text = s.xpath('/html/body/div[3]/div[1]/div[3]/div[1]/div[3]/div/span[1]/text()')[0].strip() print("剧情简介：",text) elif x == 3: #音乐 title = s.xpath('/html/body/div[3]/h1/span/text()')[0].strip() print("title:",title) goal = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[1]/div[1]/div[2]/div/div[2]/strong/text()')[0].strip() print("评分",goal) text = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[3]/div[1]/span/text()')[0].strip() print("简介：",text) chubanshe = s.xpath('//*[@id="info"]/text()') chubanshe1 = s.xpath('//*[@id="info"]/span/text()') message = [q.strip() for q in chubanshe if q.strip()!=''] message1 = [q.strip() for q in chubanshe1 if q.strip()!='' and q.strip!=':'] j=0 for i in range(len(message)): if message1[j]==":": j = j+1 print(message1[j],message[i]) j = j+1 elif x == 4: #游戏 title = s.xpath('/html/body/div[3]/div[1]/h1/text()')[0].strip() print("title:",title) goal = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[1]/div[2]/div/div/div[2]/strong/text()')[0].strip() print("评分",goal) text = s.xpath('/html/body/div[3]/div[1]/div/div[1]/div[4]/p/text()')[0].strip() print("剧情简介：",text)
同时，也是因为豆瓣的原因，导致一些一个区的，但是一些细节数据上的xpath也不尽相同，诶。导致很多数据有些能取到，有些取不到。
最后写一个main
if 'main': while 1: menu() try: print("要查询的编号") x = int(input()) print("请输入要查询的内容") what = input() getUrl(x,what) except: print("请输入数字")
就over啦