scrapy框架的日志等级和请求传参
一.Scrapy的日志等级
- 在使用scrapy crawl spiderFileName运行程序时,在终端里打印输出的就是scrapy的日志信息。
- 日志信息的种类:
ERROR : 一般错误
WARNING : 警告
INFO : 一般的信息
DEBUG : 调试信息
- 设置日志信息指定输出:
在settings.py配置文件中,加入
LOG_LEVEL = ‘指定日志信息种类’即可。
LOG_FILE = 'log.txt'则表示将日志信息写入到指定文件中进行存储。
二.请求传参
- 在某些情况下,我们爬取的数据不在同一个页面中,例如,我们爬取一个电影网站,电影的名称,评分在一级页面,而要爬取的其他电影详情在其二级子页面中。这时我们就需要用到请求传参。
- 案例展示:爬取www.id97.com电影网,将一级页面中的电影名称,类型,评分一级二级页面中的上映时间,导演,片长进行爬取。
爬虫文件:
items文件:
管道文件:
三.如何提高scrapy的爬取效率
测试案例:爬取校花网校花图片 www.521609.com
配置文件:
mysql – 在WHERE子句中使用substr的SELECT语句
MySQL视图
Linux简单查找log
转 信号量与PV操作
二进制小数及 IEEE 浮点表示
转 :原码,反码,补码
转:C# Delegate委托 1
C#中Invoke的用法2
C#中Invoke的用法1
- 最新文章
-
eclipse 打war包不完整,缺少jar包
解决AndroidX与第三方库依赖冲突
Eclipse下载国内镜像
Eclipse国内镜像源配置方法
Windows系统icmp协议的打开与关闭
【ASP.NET Core】给中间件传参数的方法
【ASP.NET Core】依赖注入高级玩法——如何注入多个服务实现类
【ASP.NET Core】如何隐藏响应头中的 “Kestrel”
【ASP.NET Core】根据 Content-Type 头部来筛选 Action
【ASP.NET Core】解决“The required antiforgery cookie "xxx" is not present”的错误