如何用Python爬取移动端数据
一、解释一下App抓包原理
1.客户端向服务器启动https请求
2.Charles拦截客户端的请求，伪装成客户端向服务器进行请求
3.服务器将服务器的CA证书返回给客户端（实际上是捕获工具）
4.包捕获工具拦截服务器的响应，获取服务器证书的公钥，然后生成自己的证书。
替换服务器证书并将其发送到客户端。（在此步骤中，包抓取器获取服务器证书的公钥）
5.在客户端收到服务器的证书（实际上是抓取工具）之后，将生成对称密钥。
使用包抓取工具的公钥加密，并将其发送到“server”（包抓取工具）
6.Charles拦截客户端的响应，用自己的私钥解密对称密钥，然后用服务器证书公钥加密，发送给服务器。发送到服务器。（在此步骤中，数据包捕获工具获取对称密钥）。
7.服务器用自己的私钥解密对称密钥，向“客户端”（Charles）发送响应
8.Charles拦截服务器的响应，替换成自己的证书后发送给客户端
爬虫的本质是“欺骗”服务器，各种反爬虫手段都是增强信任的过程，不断地让服务器相信你是自己的人。
就是说如果你被抓回来，你就是个不会撒谎的人，你会被发现的。
二、App数据好抓吗？
应用程序数据既简单又困难，行家重点今天分享简单的部分。
简单:应用程序的数据比Web端数据更容易抓取，基本上是http，https协议，返回的数据格式相对规则。大多是json格式
困难:1.需要反编译知识，需要分析加密算法；2.需要脱壳+反编译；3.需要破解各种类型的签名、证书。
所以一个爬虫类工程师慢慢需要掌握以下技能：JAVA编程基础、Android编程基础、
app逆向、app脱壳、破解加密
三、需要用到的抓包工具
fiddler
mitmproxy
Charles
四、Fiddler安装和使用
首先先下载Fiddler（下载路径关注我，私信FIddler,发给你们哦）
安装:一路Next
主要界面介绍:
会话列表界面:
单击会话列表接请求后，监视面板中将出现以下两个接口：
请求面板:
响应面板:
本地CA证书安装
切换到 HTTPS 选项卡，勾选 Capture HTTPS CONNECTs，勾选 Decrypt HTTPS trafic，会弹出安装证书的提示。一直到点是确认安装就足够了。
重启fiddler，点击右侧Actions，能看一个下拉菜单，点击 Export Root Certificate to Desktop，此时证书会生成到桌面上，名为 FiddlerRoot.cer，点OK保存。
点击安装。
连接手机以捕获数据包所需的配置：
先设置PC端fiddler:
之后，手机需要访问本地主机ip+设置的端口，安装证书，并在证书安装成功后抓取。
上面是关于小提琴的安装和简单使用。在高级应用中有许多SAO操作。
五、Mitmxy安装和使用：
Mitmproxy与linux和windows版本略有不同。
linux下借助pip,可以一键安装:pip install mitmproxy
windows 下需要安装Microsoft Visual C++ V14.0以上,之后再使用pip install mitmproxy安装
Mitmproxy有三个主要组成部分：
mitmproxy - linux下的抓包组件
mitmdump - Python交互
在mitmweb窗口下可视化接口工具
Windows下只支持后两个组件。
证书配置
您可以在安装目录中看到以下文件：
其中：
window安装证书：mitmproxy-ca.P12，一直到最后在此期间，将弹出警告并单击“确认”。
mac安装证书： 将mitmproxy-ca-cert.PEM可以弹出密钥链管理页面，然后查找MitmProxy证书，打开其设置选项，并选择Always Trust（始终信任）。
Android/iphone安装证书：方法一: 将mitmproxy-ca-cert.pem发送到手机上点击安装就可以了,苹果手机点击安装描述文件即可。
方法二: 在linux下启动 mitmproxy,命令为mitmproxy -p 8889,同时将手机代理设置为linux的IP地址与端口后访问mitm.it安装证书。
六、设置简单开始抓取：
mitmproxy过滤功能的使用举例:
输入z,清除屏幕上全部的包
mitmproxy断点功能的使用举例:
输入i,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑
mitmproxy经常配合appium使用:
首先我们需要写一个抓包的脚本,类似下面这个:
import json
注意：这里的方法名必须使用response
编写完抓包的脚本后,使用 mitmdump -p [port] -s [脚本文件] 启动,配合appium自动化脚本即可实现app自动化抓取。
