使用 self.crawl 的 js_script 参数,在页面上执行一段脚本,实现【点击加载更多】的效果:
1 def on_start(self): 2 self.crawl('http://movie.douban.com/explore#more', 3 fetch_type='js', js_script=""" 4 function() { 5 setTimeout("$('.more').click()", 1000); 6 }""", callback=self.phantomjs_parser)