• 正则表达式爬取小说各章节链接


    用之前所学的知识简单爬取了一个小说网站

    这一次是这个网站

    经过简单的爬取,前面步骤省略

    可以得到这么个玩意

    以及我想要的链接

    下一步,开始清除标签:

    此时需要借用正则表达式来进行

    首先导入re库

    import re

    再然后运用find_all()函数来寻找div标签下面的di_=list的内容

    提取内容

    那我们就可以以这里为开头,进行匹配

    那在哪儿结束呢,这就涉及到了网页开发的知识了,

    会有成对的字节,有a,那一定有/a,那也就是说有div,那一定有/div

      .*?呢,它表明了只要是以开头,以</div>结尾的字段,我都要。

    注意每个网站的有可能不一样,不一定是div,其他的也行,html就是我们要匹配的对象

    re.S(注意是大S)是说所有的符号都要匹配,默认换行等不匹配

    [0]因为匹配到最后的是列表,要把它提取出来,如果匹配出来的有多个,

    那也可以用这个去筛选,他在列表第一个就用[0],第二个就用[1],

    一般来说不会出现这种情况,如果有,说明你用来匹配的字段不是唯一的

    筛选到这里还是不行,它里面还有一些奇怪的字符

    所以还要进行筛选

    你不觉得我们要的内容他很有规律吗,我们只要以这个为模板,进行匹配就好了

    (.*?) 这是什么,返向捕获,返回捕获的内容,把我们想要的url和章节名称捕获就好了

    接下来我们循环访问我们捕获的url

    再把url的内容下载下来就好了,在这之前我们还要再爬一个东西,

    我们的小说名字,还是用我们的正则表达式

    匹配字段一般来说是在head头里面

    同时还要新建一个文件,以保存小说内容

    接下来开始循环获取章节名和链接

    再加上前缀域名就ok了

    实际效果如下

  • 相关阅读:
    计算两个经纬度之间的距离,单位米
    PHP获取汉字首字母函数
    tp3.2 上传文件及下载文件
    最少知识原则
    单一职责原则
    接口和面向接口编程
    开放-封闭原则
    设计原则
    websrom编译器
    头条笔试题2018后端第二批-用户喜好
  • 原文地址:https://www.cnblogs.com/oldfish123/p/11963232.html
Copyright © 2020-2023  润新知