利用百度搜索结果爬取邮箱

帮同学做一个关于爬取教授邮箱的任务，在百度搜索中输入教授的名字+长江学者+邮箱，爬取并筛选每个教授的邮箱，最后把邮箱信息写入到Excel表中：--爬取结果争取率大概在50%-60%

大致思路如下：

先利用百度搜索关键词（不断转换关键词，效果会不一样）

利用BeautifulSoup解析到百度搜索的html内容，找到主要的部分

写正则表达式，注意要过滤掉qq邮箱、163、126、vip邮箱（学者教授根本不会使用这些邮箱，他们几乎都是使用学校edu.cn、企业邮箱、gmail之类的），这样可以提高精准率

由于正则表达式没有写好，无意把中文匹配出来了，再进一步用正则表达式把中文去除掉

发现爬取出来的结果，里面很多的新闻投稿邮箱、编辑部的邮箱，设置了过滤列表进行过滤

爬取多个邮箱，counter统计出现频数最高的，作为最终的结果，如果匹配结果只有一个，则就选它为最终的结果

最后把结果信息写回到Excel表格中

由于需要大量的检索百度搜索结果，耗时比较长

爬虫代码如下：

#coding:utf-8
import time
import requests
import urllib.parse
from bs4  import BeautifulSoup as BS
import re
from openpyxl import load_workbook
from openpyxl import Workbook
from collections import Counter

start_time=time.time()
# 加载Excel工作表以及获取表名
wb1 = load_workbook(r"C:UserswujianDesktop长江学者名单1998-2015.xlsx")
sheet1 = wb1.get_sheet_by_name("汇总")
# 把所有的教授名字单独取出来
professors=[]
for x in sheet1['D']:
    if x.value!='教授姓名':
        professors.append(str(x.value).strip())

# for x in professors:
#     print(x)
length=len(professors)

root_url='https://www.baidu.com/s?wd='
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
                 ' Chrome/48.0.2564.48 Safari/537.36',
    'Referer': 'https://www.baidu.com:443'
}
nums=['1','2','3','4','5','6','7','8','9']
filterlist=['service','webmaster','news','new','fjptwhw','support',
            'cnsaiwai','PKU_NanoST','mysf','zjseu','chinayznew','kf',
            'admin','sp','wlwnews','anhuixinwen','xiaoyuan','xinwen',
            'fuwu','contrib','xmt','sinamedia','rm','m8000','hnqnw',
            'info','zghtbs','web','jjrbtg','zgkyb','shihappy','pic',
            'cnxwzx','gaoling_news','emuchnet','changjiang','leifu',
            'admission','office','administrator','aco','andong','baike',
            'bgs','bravetim','buaazhangjun','cbtql','cksp','cs','fuhuimin',
            'fxxsqy','jdb','jiangyue2012','jinxin','job','jsu','jubao','kefu',
            'kepu','kjdbcb','kjxb0731-160','master','maths','nchkdxb','newmedia',
            'rcb','rencaiban','rczp','renshichu','rsc','shengxch','sjing','sla_office',
            'swxrs','tougao','wanhoo','wbb037','Webmaster','wlwh','xcb','xiaohuzz','xwzx',
            'yjrddh','youthhb','yx1005','zgzxyx','zhouh','zzbgbb','zyang','zuaa','360baike']

#邮箱正则表达式匹配
pattern=re.compile(r"w+([.+-]w+)*@(?!163)(?!126)(?!qq)(?!vip)w+([.-]w+)*.w+([.-]w+)*",re.M|re.I)
#匹配中文汉字
regexp = re.compile(r'[^x00-x7f]')
def baidu_search(word):
    '''
    根据关键字获取查询网页
    '''
    emails=[]
    res_dict={}
    keyword1=word+" 长江学者 邮箱"
    keyword2=word+" 长江学者 email"
    keyword3=word+" 长江学者 Email"
    keyword4=word+" 长江学者 E-mail"
    keywords=[keyword1,keyword2,keyword3,keyword4]#调整搜索的关键字

    # print(word)
    for i in range(len(keywords)):
        url=root_url+urllib.parse.quote(keywords[i].encode('utf-8'))#url拼接
        # print(url)
        r=requests.get(url,headers=headers)
        soup=BS(r.text,'html.parser')
        cont=soup.find_all('div', class_="result c-container ")
        # print(type(cont))#class 'bs4.element.ResultSet'>

        for k in range(len(cont)):
            # print("第%d个"%k)
            string=str(cont[k]).strip()
            # print(string)
            try:
                matchObj=pattern.search(string).group()
                # print('	-------->',matchObj)
                if matchObj and matchObj.strip().split('@')[0] not in filterlist:
                    #由于之前的邮箱正则表达式没有写好，匹配出来还有中文汉字，
                    #在此处去除掉中文汉字
                    try:
                        index=regexp.search(matchObj).span()[0]
                        matchObj=matchObj[:index]
                    except Exception as e:
                        emails.append(matchObj)
                    # print("emails--->",emails)
                    # print(len(emails))
            except Exception as e:
                # print(e)
                pass
            if len(emails)>7:
                # print("break.....")
                break

        if len(emails):
            res_dict[word]=emails
            # print("res_dict",res_dict)
            break

    if len(res_dict)==0:#最终没有匹配到邮箱信息
        res_dict[word]='Null'
    return res_dict

if __name__ == "__main__":
    resultSet={}#最终结果，存放学者名字、及其邮箱信息
    for i in range(length):
        res_dict=baidu_search(professors[i])
        print(res_dict)
        emails=res_dict[professors[i]]
        if len(emails)>1:
            res_email=Counter(emails).most_common(1)[0][0]#按照每个邮箱出现的频率，进行排序，频率最大的那个邮箱就是我们所要查找的邮箱
            resultSet[professors[i]]=res_email
        else:
            resultSet[professors[i]]=emails[0]

    # for key in resultSet.keys():
    #     print(key,resultSet[x])

    sheet1['F1'].value='邮箱'
    # 将每一行的数据写入
    for i in range(length):
        professor=str(sheet1['D'+str(i+2)].value).strip()
        sheet1['F'+str(i+2)].value=resultSet[professor]

    # 将最终的结果保存在excel中
    wb1.save(r"C:UserswujianDesktop长江学者名单1998-2015.xlsx")
    end_time=time.time()
    print("程序共耗时：%d秒"%(end_time-start_time))