• scrapy_Response and Request


    scrapy中重要的两个类是什么?

           Requests、Response

    什么是Requests?

           网页下载

           有哪些参数?

                  url

                  callback

                  headers           # 头部信息

                  cookie                             # 会自带cookie

                  meta                               # request和response中添加信息

                  encoding                        # 默认utf8,可自定义添加

                  priority                           # 让某些URL优先

                  dont_filter                      # 让request不被过滤掉

                  errback                           # 网页404,错误处理函数

    什么是response类?

      下载后返回的页面信息

           有哪些参数?

                  url                               # 当前网页URL

                  status                          # 返回网页的状态码

                  header                        # 服务器返回的header

                  body                           # 下载的网页内容

                  request                       # 之前yield出去的request

           有哪些子类?

                  respones.http.HtmlResponse

                         HtmlResponse类有两个方法?

                           xpath方法

                           css方法

        完全继承TextResponse

                  调用selector中xpath、css方法

    spider产生requests,yield给engine,下载器下载request获得response,交给engine,engine交给spider

  • 相关阅读:
    Redis常用数据类型介绍、使用场景及其操作命令
    spring的官方文档地址
    ps基础学习笔记一
    类的加载时机与步骤(转)
    jvm的基本结构以及各部分详解(转)
    jdk1.8使用的url和driverName的改变
    测试框架简单了解
    shiro简单学习的简单总结
    easyui弹框后销毁当前tab弹框不显示的解决方式
    springboot学习章节代码-Spring MVC基础
  • 原文地址:https://www.cnblogs.com/2bjiujiu/p/7367895.html
Copyright © 2020-2023  润新知