【转载】一个简单的爬虫：爬取豆瓣的热门电影的信息

#! /usr/bin/env python
# -*- coding=utf-8 -*-

import requests
import json
import re

f = open('dianying.txt','a')
count = 0 #用于记录编号，也可不用
def write__(htm):
    #with open('title.txt', 'a') as fff:
    titl = re.findall('data-tit(.*?)data-enough',htm.text,re.S)  #找到data-tit和data-enough之间的所有匹配串，titl是列表类型
    for each in titl:     #依次迭代列表中元素，针对每一组元素 分别匹配相应的字段 ，并将字段内容写入文本
        #fff.write(each + "
")
        info = {}
        info['title'] = re.search('le="(.*?)"',each,re.S).group(1) #匹配值的第一个
        info['year'] = re.search('data-release="(.*?)" data-rate',each,re.S).group(1)  #匹配值的第一个
        info['Rating']= re.findall('data-rate="(.*?)" data-star',each,re.S)[0] #返回匹配元素（列表）中的一个值，实际上只有 一个
        info['duration'] = re.findall('data-duration="(.*?)" data-region',each,re.S)[0]
        info['region'] = re.findall('data-region="(.*?)" data-director',each,re.S)[0]
        info['actor'] = re.findall('data-actors="(.*?)" data-intro',each,re.S)[0]
        global count #全局的定义
        count = count + 1
        f.write('%s
' %str(count))
        #print(info['title'],info['year'],info['Rating'],info['time'] ,info['reg'],info['act'] )
        f.writelines(u'电影名：'+info['title'] + '
')
        f.writelines(u'主演：'+info['actor'] + '
')
        f.writelines(u'电影地区：' + info['region']+'
')
        f.writelines(u'上映年份：' + info['year']+'
')
        f.writelines(u'电影时长：' + info['duration']+'
')
        f.writelines(u'评分：' + info['Rating']+'

')
    f.close()
def getremen():
    url = 'http://movie.douban.com/'
    html = requests.get(url,headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0'})
    html.encoding = 'uft-8'
    # print( html.text)
    write__(html)
if __name__ == "__main__":
    getremen()