今天向大家介绍app爬取。
@
一：爬取主要流程简述
1.APP的爬取比Web爬取更加容易，反爬虫没有那么强，且大部分数据是以JSON形式传输的，解析简单。
2.在APP中想要查看请求与响应(类似浏览器的开发者工具监听到的各个网络请求和响应)，就需要借助抓包软件。
3.在抓取之前，需要设置代理将手机处于抓包软件的监听下，就可以用同一网络进行监听，获得所有的网络和请求。
4.如果是有规则的，就只需要分析即可；如果没有规律，就可以用另一个工具mitmdump对接Python脚本直接处理Response。
5.抓取肯定不能由人手动完成，还需要做到自动化，还要对App进行自动化控制，可以用库Appium。
二：抓包工具Charles
1.Charles的使用
Charles是一个网络抓包工具，比Fiddler功能更强大，可以进行分析移动App的数据包，获取所有的网络请求和网络内容
2.安装
(1)安装链接
官网：https://www.charlesproxy.com
(2)须知
charles是收费软件，但可以免费试用30天。试用期过了，还可以试用，不过每次试用不能超过30分钟，启动有10秒的延迟，但大部分还可以使用。
(3)安装后
3.证书配置
(1)证书配置说明
现在很多网页都在向HTTPS(超文本传输协议的加密版，即HTTP加入SSL层)，经过SSL加密更加安全，真实，大部分都由CA机构颁发安全签章(12306不是CA机构颁发，但不被信任)。现在应用HTTPS协议的App通信数据都会是加密的，常规的截包方法是无法识别请求内部的数据的。
要抓取APP端的数据，要在PC和手机端都安装证书。
(2)windows系统安装证书配置
打开Charles，点击Help->SSL Proxying->Install Charles Root Certificate，进入证书的安装页面：
点击安装证书，就会打开证书安装向导，然后点击下一步，此时需要选择证书的存储区域，选择第二个选项”将所有证书放入下列存储”：
然后点击浏览，选择证书存储位置为”受信任的根证书颁发机构”，点击确认并进入下一步：
(3)Android手机安装证书配置
手机与电脑连接同一个WiFi。
设置如下：
可以用操作系统命令ipconfig查看PC端ip：
为10.61.131.172，默认代理端口号为8888。之后代理服务器为电脑的IP地址。端口为8888。设置如下：
会发现360手机的标志
接下来对手机下载证书：
访问手机访问 chls.pro/ssl ,下载证书：
此时下载的是个.pem 格式的。需要手动更改为.crt 格式，最后随便放进某个文件夹即可：
用手机(我用的360手机)设置里的安全，找到从存储设备安装找到该crt文件进行配置：
此时需要设置锁屏：
就可以完成证书的安装。
4.开启SSL监听
点击Proxy->SSLProxying Settings，在弹出的窗口中点击Add按钮，添加需要监听的地址和端口号。需要监听所有的HTTPS请求，可以直接将地址和端口设置为，即添加:*设置，就可以抓取所有的HTTPS请求包；如果不配置，抓取的HTTPS请求包状态可能是unknown。
这样就指定只监听我们需要的ip和端口的请求和响应。
5.原理
Charles运行时会在PC端的8888开启一个代理服务，实际上是一个HTTP/HTTPS的代理。
可以是用手机通过相同的无线网络连接(这里用的是校园网)，设置手机代理为Charles的代理地址，这样手机访问互联网的数据就会经过Charles抓包工具，Charles转发这些数据到真实的服务器，再转发到手机中。这样抓包工具(Charles)就起到了中间人的作用，还有权对请求和响应进行修改。
6.抓包
我们可以看到我们已经请求了很多数据了，点击左上角的扫帚按钮即可清空捕获到的所有请求，然后点击第二个监听按钮，表明Charles正在监听App的网络数据流。如下：
抓包后可以看到音乐：
可以通过分析不同的URL请求，获得数据，也可以通过修改数据，得到那些参数是需要的。
这是有规则的，无规则的如果没有规律的url，就可以用另一个工具mitmdump对接Python脚本直接处理Response。
三：抓包工具mitmproxy(免费的)
1.简介
mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler和Charles的功能，但它是一个控制台的形式操作。
2.关联组件
mirmproxy还有两个关联组件。一个是mitmdump，是命令行接口，可以对接Python脚本，用Python处理数据；另一个是mitmweb，是一个web程序，可以清楚地查看mitmproxy捕获的请求。
3.安装和证书配置
(1)用pip安装
这个是安装python后就有的安装方法，也是最简单的安装方法，在控制台输入
Pip install mitmproxy即可,会自动安装mitmdump和mitmweb组件：
但是到最后安装会失败：
是因为安装这个包的 window 系统需要首先安装 Microsoft Visual C++ V14.0以上 才行。
可以在https://visualstudio.microsoft.com/downloads/
直接下载即可，安装之后需要c++的库之类的东西都安装了，然后再在命令行进行安装 mitmproxy即可：
然后进入安装目录,我们选择第三个：
在“安装 Visual Studio”屏幕中找到所需的工作负载，选择"使用的桌面开发C++"工作负荷：
注：这里的文件太大，我直接安装到E盘。
之后再安装就可以安装成功了：
(2)在GitHub或官网上安装
GitHub：https://github.com/mitmproxy/mitmproxy
官网：https://mitmproxy.org
下载地址：https://github.com/mitmproxy/mitmproxy/releases
3.证书配置
(1) 产生CA证书
对于mitmproxy来说，如果想要截获HTTPS请求，也需要设置证书。它在安装后会提供一套CA证书，只要客户端信任了mitmproxy的证书，就可以通过mitmproxy获取HTTPS请求的具体内容，否则无法解析HTTPS请求。
在cmd中输入命令行接口命令mitmdump，产生CA证书，在用户目录找到CA证书：
这里的目录可以自行指定，但必须是在第一次运行mimdump时。
(2)PC端安装
电脑是Window系统，因此用mitmproxy-ca.p12,双击后出现导入证书的引导页：
点击下一步，不需要设置密码：
接下来点击下一步，需要选择证书的存储区域，和配置Charles一样：
最后会有警告，选择是即可，证书就安装到我们的电脑上了：
(3)手机端安装
我的手机是Android系统，直接把mitmproxy-ca.pem文件发送到手机上即可。
配置方法和Charles类似。HTTPS请求。
手动更改为.crt 格式，最后随便放进某个文件夹即可，用手机(我用的360手机)设置里的安全，找到从存储设备安装找到该crt文件进行配置：
4.抓包原理
在mitmproxy中，会在PC端的8080端口运行，然后开启一个代理服务，就是一个HTTP/HTTPS代理，类似ip代理。
手机和PC在同一局域网内，设置代理为mitmproxy的代理地址，抓包工具mitmproxy就相当于中间人的作用，数据就会流经抓包工具。这个过程还可以对接mitmdump，抓取到的请求和响应都可以直接用Python来处理，然后分析，存到本地，或存到数据库。
5.设置代理
在抓包前需要先设手机局域网置代理为抓包工具mitmproxy代理。
(1)启动代理服务
在cmd中输入mitmproxy，会在8080端口运行一个代理服务，由于该命令不支持Windows系统，因此在Windows系统中用mitmdump命令：
用mitmdump启动代理服务，监听8080端口：
(2)设置当前代理
将手机和电脑连到同一局域网下，先用操作系统命令ipconfig查看PC端当前局域网的ip：
为10.61.131.172，在手机端设置代理如下：
这样就配置好了mitmproxy的代理。
6.抓包
运行mitmweb(由于mitmproxy不能用)，就可以看到手机上的所有请求：
网页呈现如下：
随便打开一条网络请求，发现和在网页的开发者工具下，监听到的一样：
7.mitmproxy的高级功能mitmdump
上面的功能与方法在Fiddler和Charles中也有，那么mitmproxy的优势何在？
在mitmproxy中它的强大体现到mitmdump工具，可以对接Python对数据请求进行处理。
它是mitmproxy的命令行接口，可以对接python程序对请求进行处理，不需要手动截取和分析HTTP请求和响应，进行数据存储和解析都可以通过Python来完成。
(1)简单获取数据(随便一个app)
我们先创建一个文件夹：
然后打开转到该文件夹下：
输入mitmdump -w outfile(outfile名称和扩展名可以自定义，文件放到当前cmd打开目录下，也可以用绝对相对路径，但比较麻烦)：
截取广播页面：
之后把截获的数据保存到文件夹下：
打开文件，发现好多乱码：
下面会对其进行处理。
(2)可以指定一个脚本来处理截获的数据：
Mitmdump -s script.py(脚本名字可以自定义)，需要放在cmd当前目录下，也可以用绝对相对路径，但比较麻烦。
写入如下代码：
就是定义了一个request()方法，参数为url，其实是一个HTTPFlow对象，通过request属性即可获取到当前请求对象。然后打印出请求头，将User-Agent(用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言浏览器插件等)修改为MitmProxy。
运行之后手机端访问http://httpbin.org/get，可以看到请求头：
PC端如下：
手机端请求的Headers实际上就是请求的Headers，User-Agent被修改成了mitmproxy(防反爬)，PC端显示修改后的Headers内容，其User-Agent正是MitProxy。
这样就可以让服务器识别不出我们的是爬虫程序了。
(3)日志输出
mitmdump提供了专门的日志输出功能，就是设定输出到控制台的颜色，可以分别为不同级别配置不同的颜色，更加直观：
效果如下：
(4)输出请求数据
可以输出一些请求信息，比如请求连接(url)，请求头(headers)，请求Cookies(cookies)，请求Host(host)，请求方法(method)，请求端口(port)，请求协议(scheme)等。
还可以把这些请求的信息进行修改后，再发送到服务器中，这样，服务器返回的可能不是app想请求的网页，这就是为什么一些app打开后却访问到了其他网址的原因。
也可以通过该用法，通过修改Cookies，添加代理等方式来尽可能避免反爬。
这里就先进行略过。
(5)获得响应
响应就是请求后服务器返回的信息，也就是我们需要的，大部分是json格式文件。
对于json格式文件，mitmdump也提供了对应的处理接口，就是response()方法。
我们可以打印各个http/https请求的响应内容，不过text才是我们想要的json格式文件，也可以用content，不过返回的是二进制文件。
代码如下：
我们先试一下：
内容有些乱，接下来我们就进行分析得到我们需要的数据。
四：利用mitmproxy进行app数据获取
1.获取请求url
获取http/https请求url，也可以认为是接口：
修改python文件，获得请求的url：
然后停留在该页面：
会发现出现了好多url：
我们一一分析一下，发现接口信息分别是：
这个接口
https://images.sanmaoyou.com/img/new_images/5ac83890033ec.jpg
是GET请求获取文件：
这个接口的为json文件，为GET获取方式：
这个接口
https://images.sanmaoyou.com/audio/library/2018-04/5ac83887c5263.mp3
是下载音乐，为GET获取方式：
这个接口
http://sdk-open-phone.getui.com/api.php?format=json&t=1&d=76060FDC1EFFF74C1956225F1DBEE6AF006578C33658C4AF90D802512BF321C8&k=2是POST方式，是传文件。
我们在向右点击下一个广播，进行验证：
发现基本上，新打开一个广播后，会加载mp3文件，图片文件，比较长的接口就返回json文件：
2.接口url文件
把接口保存到txt文件中：
发现只有很长的接口才返回json文件。因此下面就需要对这些接口进行筛选。
3.爬取json
代码在pa_qu_json.py文件中，需要先创建一个json爬取数据文件夹，爬取后的结果如下：
接下来用Python处理即可，这里只是简单爬取。在实际应用中，不是人工的，是用代码自动化进行分析各个请求和响应进行爬取。这里有个跨平台的移动端自动化测试工具，可以很方便地进行自动化爬取，在下一个爬虫博客中会详细讲到，希望大家把宝贵意见提出来一起学习进步。