selenium splash 分布式数据获取

1. 动态网站的获取，通常以下两种办法：

• 通过分析网站，找到对应数据的接口，模拟接口去获取需要的数据（一般也推荐这种方式，毕竟这种方式的效率最高），但是很多网站的接口隐藏的很深，或者接口的加密非常复杂，导致无法获取到它们的数据接口，此种方法很可能就行不通。
• 借助JS内核，将获取到的含有JS脚本的页面交由JS内核去渲染，最后将渲染后生成的HTML返回给Scrapy解析，Splash是Scrapy官方推荐的JS渲染引擎，它是使用Webkit开发的轻量级无界面浏览器，提供基于HTML接口的JS渲染服务。

　　　在使用splash中，只需要scrapy_splash.SplashRequest替代scrapy.Request提交请求即可完成JS渲染

　　

        yield SplashRequest(self.url,
                            callback=self.parse,
                            endpoint='execute',#Splash服务接口，执行lua脚本
                            args={'lua_source':lua_script,#lua source
                                  'images':0,#不显示图片
                                  'wait':3},#等待时间
                            cache_args=['lua_source'])#缓存

　　Splash 可以通过 Lua 脚本执行一系列渲染操作，这样我们就可以用 Splash 来模拟浏览器的操作了，Splash Lua 基础语法如下：

function main(splash, args)                        # main()方法是入口，名称必须固定的，Splash默认调用这个方法
  splash:go("http://www.baidu.com")                # go()方法用于加载页面
  splash:wait(0.5)                                 # wait()方法用于等待指定的时间
  local title = splash:evaljs("document.title")    # evaljs()方法用于传入并执行JavaScript脚本，这里将执行结果赋值给title变量
  return title                                     # 返回title变量的值，结果是一个字符串："百度一下，你就知道"
 end                                               # 也可以以字典的形式返回，如 return {title=title} ，则结果为：title: "百度一下，你就知道"

　　

selenium是浏览器测试自动化工具，很容易完成鼠标点击，翻页等动作，确定是一次只能加载一个页面，无法异步渲染页面，也就限制了selenium爬虫的抓取效率

splash可以实现异步渲染页面，可以同时渲染几个页面。缺点是在页面点击，，模拟登陆方面没有selenium灵活。

　　splash对象常用的属性和方法

• splash.args属性：用户传入参数的表，通过该属性可以访问用户传入的参数，如splash.args.url、splash.args.wait。
• splash.js_enabled属性：用于开启/禁止JavaScript渲染，默认为True。
• splash.images_enabled属性：用于开启/禁止图片加载，默认为True。
• splash:go方法：splash:go{url, baseurl=nil, headers=nil, http_method="GET", body= nil, formdata=nil}类似于在浏览器中打开某url地址的页面，页面所需资源会被加载，并进行JavaScript渲染，可以通过参数指定HTTP请求头部、请求方法、表单数据等。
• splash:wait方法：splash:wait{time, cancel_on_redirect=false, cancel_on_error=true}等待页面渲染，time参数为等待的秒数。
• splash:evajs方法：splash:evajs（snippet）在当前页面下，执行一段JavaScript代码，并返回最后一句表达式的值。
• splash:runjs方法：splash:runjs(snippet)在当前页面下，执行一段JavaScript代码，与evajs方法相比，该函数只执行Javasc代码，不返回值。
• splash:url方法：splash:url()获取当前页面的url。
• splash:html方法：splash:html()获取当前页面的HTML文本。
• splash:get_cookies方法：splash:get_cookies()获取全部Cookie信息

2. 模拟登录

　　一般而言，获取表单进行登录，或者利用cookie登录。

post_data = dict(
            login="812******0@qq.com",
            password="******",
            authenticity_token=authenticity_token,
            utf8=utf8,
            commit=commit,
        )
        #表单请求
        yield scrapy.FormRequest(
            "https://github.com/session",
            formdata=post_data,
            callback=self.after_login
        )

　　利用表单或加密登录可能会遇到验证码的问题，而使用cookie会面临时效性的问题。

　　一般突破反爬虫的方法：

　　（1）降低请求频率

　　（2）修改请求头

　　（3）禁用cookie

　　(4)　伪装成随机浏览器

　　(5)更换ip地址