• 爬取校园新闻首页的新闻


    1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。

    2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影。

    3. 将其中的发布时间由str转换成datetime类型。

    import requests
    from bs4 import BeautifulSoup
    from datetime import datetime
    utl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'
    res = requests.get(utl)
    res.encoding= 'utf-8'
    soup = BeautifulSoup(res.text,'html.parser')
    for i in soup.select('li'):
        if len(i.select('.news-list-title')) > 0:
            f = i.select('.news-list-info')[0].contents[1].text
            t = i.select('.news-list-title')[0].text
            h = i.select('a')[0].attrs['href']
            resd = requests.get(h)
            resd.encoding = 'utf-8'
            soupd = BeautifulSoup(resd.text, 'html.parser')
            zw = soupd.select('#content')[0].text
            info = soupd.select('.show-info')[0].text
            dt = info.lstrip('发布时间:')[0:19]
            p = datetime.strptime(dt, '%Y-%m-%d %H:%M:%S ')
            print(f,t,h,zw,p)
  • 相关阅读:
    noip2016十连测round1
    [bzoj 3732] Network (Kruskal重构树)
    主席树学习笔记
    [ZKW线段树]
    [poj2182] Lost Cows (线段树)
    [模板] 线性筛逆元
    [模板] 线筛欧拉函数
    [模板] SAP
    [poj2411] Mondriaan's Dream (状压DP)
    [poj2247] Humble Numbers (DP水题)
  • 原文地址:https://www.cnblogs.com/w092/p/8692228.html
Copyright © 2020-2023  润新知