0、换行问题 存储的时候显示的 是有效的 也就是写成HTML文档时在编辑器里打开是一行 在读取过来单独使用的时候换行符生效 浏览器里打开HTML就会分行 1、图片 爬取网站图片http://sc.chinaz.com/tupian/xingganmeinvtupian_3.html 懒加载：用到的时候再加载 实现方式：通过页面JS 懒加载特征： <img src2 = "图片路径"> <img _src = "图片路径"> <img data_src = "图片路径"> image_list = tree.xpath('//div[@id="container"]/div/div/a/img/@src2') src2 2、jsonpath模块 用来解析josn数据使用的 python处理josn格式用到的函数 import json json.dumps() :将字典或者列表转化为json格式的字符串 json.loads() :将json格式的字符串转化为python对象 记忆方法：前两个有s，是字符串和两个格式之间的转化 json.dump（） :将字典或者列表转化为json格式的字符串并且写入到文件中 json.load（） :从文件中读取json格式字符串，转化为python对象 记忆方法：后两个不带s，属于写入文件和从文件中读取 前端处理： 将json格式的字符串转化为js对象 JSON.parse('json格式字符串'） eval('('+json格式字符串 +')') xpath和jsonpath的对比： / $ 根元素 . @ 当前元素 / . 子元素 // .. 任意位置查找 * * 通配符 [] ?() 过滤 索引1 索引0 3、selenium和PhantomJS selenium：是一个python的第三方库，对外的接口可以操作你的浏览器，然后让浏览器完成自动化的操作 使用selenium： 1、安装 pip install selenium 2、操作浏览器 需要有该浏览器驱动 比如谷歌：chromedriver.exe #当前设置的驱动路径 详细介绍见selenium自动化操作.py path =r'E:py爬虫day5geckodriver.exe' browser = webdriver.Firefox(executable_path=path) 生成一个浏览器对象 url = "" browser.get(url) 打开网页 各种操作页面元素的函数： find_element_by_id 根据id节点查找 find_elements_by_name 根据name查找 find_elements_by_xpath 根据xpath查找 find_elements_by_tag_name 根据标签名查找 find_elements_by_class_name 根据class名字查找 find_elements_by_css_selector 根据选择器查找 find_elements_by_link_text 根据连接内容查找 getsend_keysclick PhantomJS 是一款浏览器，是无界面浏览器 selenium+PhantomJS 就是爬虫的终极解决方案 下拉滚动条到底部 豆瓣电影下拉 #获取网页的代码，保存到文件中 html = browser.page_source 1、前面的登录过程：直接抓包找到post地址，发送过去即刻登陆成功 2、现在的登陆过程：直接抓包post不行，因为表单中有一些数据需要从网页中获取到， 比如这里的formhash令牌。呢么现在的登录需要先发送get请求到登录页面，然后通过xpath、bs 、获取需要的表单令牌，然后在发送post请求，开始登录