runxinzhi.com
首页
百度搜索
爬虫基础总结2
headers
形式 字典
User-Agent,Cookies
使用User-Agent能够模拟浏览器
如果因为参数问题爬取不到数据,添加更多参数
params
形式 字典
键是=前面的内容,值是=后面的内容
字符串格式化:'wenshao{}'.format('dashuabi')
post
发送post请求 requests.post(url, data=data)
data形式,字典
proxies(代理)
形式 字典
键:协议
值:协议+ip+port
不是所有代理都支持https的请求和post请求
拨号方式获取的代理ip质量最高
模拟登录
cookies和session的区别
1.cookie储存在浏览器上 2.session储存在服务器上
2.cookie不安全,session更安全
3.session占用服务器性能
4.cookie存储的数据有上限,session没有上限
模拟登录的三种方式
使用session
1.实例化一个session session=requests.session()
2.使用session发送post请求
此时session保存的有对方服务器设置的cookie
3.再使用session请求登录之后才能访问的页面 session.get(url)
将cookie字符串放在headers中
Cookie过期时间很久
cookie过期之前能获取全部的数据
配合其他的程序一起使用,边获取cookie边获取数据
把cookie组成字典,放在请求方法中
字典推导式 {i['name']: i['value'] for i in Cookies }
相关阅读:
linux时间同步ntp服务的安装与配置
linux系统的初化始配置
透明手机
linux桌面的安装
Linux中FTP服务器的搭建教程
Linux怎样创建FTP服务器--修改用户默认目录-完美解决
linux下vsftpd的安装及配置
vsftpd快速部署_2018_lcf
史上最详细的vsftpd配置文件详解2
史上最详细的vsftpd配置文件讲解
原文地址:https://www.cnblogs.com/wsilj/p/12736159.html
最新文章
Python多层字典取值
分辨率大全(329个分辨率)
暴力破解Tenda企业路由
python脚本,检测域名是否被注册
渗透笔记
Python3 PySpider爬虫框架-安装
Python3 爬虫-自定义字体反爬
Python3 爬虫-字体数字反爬
Sonarqube+sonar scanner 扫描代码(C#,Java)
Docker Windows10切换镜像源
热门文章
Windows7/8 Docker 安装
Docker 安装Splash
Windows10 Docker安装
Windows10家庭版 开启Hyper-V
ASP.NET MVC框架中的路由
学生党必备 超级计算器
linux下使用Apache+php实现留言板功能的网站
linux下使用Apache+php实现留言板功能的网站
linux网站服务Apache+php+mysql的安装
linux通过挂载系统光盘搭建本地yum仓库的方法
Copyright © 2020-2023
润新知