正则提取案例(古诗文网)

正则的一个实例，提取古诗文网https://www.gushiwen.org/default_1.aspx的诗文。

参照课程写的。

import re
import requests


def parse_page(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    response = requests.get(url,headers=headers)
    text = response.text
    # print(text)
    values = re.findall(
        '<p><a style="font-size.*? target="_blank"><b>(.+?)</b></a>[sS]*?target="_blank">(.+?)</a><span>.+? '
        'target="_blank">(.+?)</a></p>[sS]+?<div class="contson".+?>
([sS]+?)
</div>', text)

    poems = []
    for value in values:
        title, dynasty, author, content = value
        # 替换br为换行   ,,有些诗文中会有<p>标签要去掉
        content = re.sub('<br />', '
', content)
        content = re.sub('<.*?>', '', content)
        poem = {
            'title': title,
            'dynasty': dynasty,
            'author': author,
            'content': content
        }
        poems.append(poem)
    return poems


def main():
    url = 'https://www.gushiwen.org/default_1.aspx'
    poems = parse_page(url)
    print(poems)


if __name__ == '__main__':
    main()

老师课程中代码是将标题、朝代、作者、内容分开获取的，然后用zip函数将多个列表组合成一个元祖列表。

备忘点

一、zip函数，可以将多个列表组合成一个元祖的列表

二、

title, dynasty, author, content = value可以直接将元祖value中的元素分别赋值

三、

re.findall(pattern, text, re.DOTALL)正则中点.不能匹配换行，可以使用[sS]表示所有字符,或者可以使用re.DOTALL或re.S标志就可以使点.表示所有字符了

首先想到的是[. ]表示,可是不能匹配,查百度发现原来是[.]表示的就只是点.这一个字符了.所以不行.