• Python爬取微博热搜并定时发送邮件,及时了解最新动态!


    一、前言

    微博热搜榜每天都会更新一些新鲜事,但是自己处于各种原因,肯定不能时刻关注着微博,为了与时代接轨,接受最新资讯,就寻思着用Python写个定时爬取微博热搜的并且发送QQ邮件的程序,这样每天可以在不打开微博的情况下,时刻掌握着微博的最新动态资讯。

    废话不多说,下面直接上代码以及详细思路。

    二、代码及思路

    (1)首先肯定是对微博热搜进行爬取,这并不难,是个非常简单的爬虫。

    def getHTML(url):
        
        headers={
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36",
        } # 浏览器请求头
        r = requests.get(url, headers = headers) # 向该网页发起请求
        # 如果返回的响应码是200 则表示请求成功,否则返回“获取失败”
        if r.status_code == 200:
            r.encoding = r.apparent_encoding 
            return r.text
        else:
            return "获取失败"
    
    
    

    (2)接下来对返回的源码进行解析,这边我用的是xpath。

    def parseHTML(html):
        html = etree.HTML(html)
        content = html.xpath('//div[@class="data"]//table//tr[position()>1]/td[@class="td-02"]//a/text()')
        return content
    
    
    

    (3)下一步,也是整篇文章的灵魂,就是讲热搜定时发送到自己的邮箱,这样就能及时获取最新资讯。

    def sendMail(contents):
        mailBox = '发送邮箱'  
        password = '邮箱授权码'  
    
    
        to_mail = '接收邮箱'  # 接收邮箱
    
    
        mailhost = 'smtp.qq.com'  # qq邮箱的smtp地址
        qqmail = smtplib.SMTP()  # 创建SMTP对象
        qqmail.connect(mailhost, 25)  
        qqmail.login(from_addr, password)  
        dt = time.strftime("%Y-%m-%d %X")
        data  = ''
        for content in contents:  
            data += '当前时间' + dt + '
    ' + '热搜:' + content + '
    '
            data += '=============================
    ' #分割线
    
    
        msg = MIMEText(data, 'plain', 'utf-8')
        msg['subject'] = Header("即时微博热搜", 'utf-8')
    
    
        try:
            qqmail.sendmail(mailBox, to_mail, msg.as_string())
            print('发送成功!')
        except:
            print('发送失败!')
        qqmail.quit()
    

    (4)最后一步,就是要实现定时发送这个功能了,这边我使用的是schedule模块。

    def main():
        html = getHTML("https://s.weibo.com/top/summary")
        contents = parseHTML(html)
        sendMail(contents)
      
    schedule.every().day.at("12:30").do(main) # 每天早上12:30执行main函数
    while True:
        schedule.run_pending()
        time.sleep(1)
    
    
    

    效果图:

    这样看起来是不是很简单明了,并且不需要时刻打开微博,自己指定任意时间就能收到一手资讯,与“out了”说拜拜!


    三、结语

    当然,这只是微博热搜,如果需要其他资讯,也可以获取其他平台的数据,定时发送到邮箱中,或者网站发生变动,也可以第一时间提醒你,非常的方便!

    - END -

    各种爬虫源码获取方式

    识别文末二维码,回复:爬虫源码

    欢迎关注公众号:Python爬虫数据分析挖掘,方便及时阅读最新文章

    记录学习python的点点滴滴;

    回复【开源源码】免费获取更多开源项目源码;

  • 相关阅读:
    lvs_基础理论
    iptables_表和链(Traversing of tables and chains)
    题解-【集训队作业2018】Simple Tree
    题解-CF559C
    题解-[Violet]天使玩偶/SJY摆棋子
    题解-[POI2014]PRZ-Criminals
    题解-CF961G
    题解-CF1392H
    WorldCreator基础流程
    gstreamer-vaapi 之 README
  • 原文地址:https://www.cnblogs.com/chenlove/p/14088510.html
Copyright © 2020-2023  润新知