美团开源抓包神器Lyrebird

地址： Lyrebird Github

本人是 ubuntu18.04 桌面版，其它 windows 或 mac 系统部署类似，只要有 python3 环境均可使用。
以下为利用 python virtualenv 部署 python3 和 Lyrebird

# 利用virtualenv 创建名为 Lyrebird的python3.6.5 虚拟环境
cmd@TR:~$ pyenv virtualenv 3.6.5 Lyrebird
Requirement already satisfied: setuptools in /home/cmd/.pyenv/versions/3.6.5/envs/Lyrebird/lib/python3.6/site-packages
Requirement already satisfied: pip in /home/cmd/.pyenv/versions/3.6.5/envs/Lyrebird/lib/python3.6/site-packages

# 激活使用Lyrebird虚拟python3环境
cmd@TR:~$ pyenv activate Lyrebird
pyenv-virtualenv: prompt changing will be removed from future release. configure `export PYENV_VIRTUALENV_DISABLE_PROMPT=1' to simulate the behavior

# 检查初始虚拟环境带的py包
(Lyrebird) cmd@TR:~$ pip list
DEPRECATION: The default format will switch to columns in the future. You can use --format=(legacy|columns) (or define a format=(legacy|columns) in your pip.conf under the [list] section) to disable this warning.
pip (9.0.3)
setuptools (39.0.1)

# 升级下过老的py包
(Lyrebird) cmd@TR:~$ pip install --upgrade pip
(Lyrebird) cmd@TR:~$ pip install --upgrade setuptools

(Lyrebird) cmd@TR:~$ pip list
Package    Version
---------- -------
pip        10.0.1
setuptools 40.0.0

# 安装lyrebird
(Lyrebird) cmd@TR:~$ pip install lyrebird

# 看下lyrebird 依赖安装了其他哪些py包
(Lyrebird) cmd@TR:~$ pip list
Package          Version  
---------------- ---------
aniso8601        3.0.2    
asn1crypto       0.24.0   
beautifulsoup4   4.6.0    
blinker          1.4      
brotlipy         0.7.0    
certifi          2018.4.16
cffi             1.11.5   
chardet          3.0.4    
click            6.7      
colorama         0.3.9    
cryptography     2.2.2    
fire             0.1.3    
Flask            1.0.2    
Flask-RESTful    0.3.6    
Flask-SocketIO   3.0.1    
genson           1.0.1    
h11              0.7.0    
h2               3.0.1    
hpack            3.0.0    
hyperframe       5.1.0    
idna             2.7      
itsdangerous     0.24     
Jinja2           2.10     
kaitaistruct     0.8      
ldap3            2.5      
lyrebird         0.10.5   
MarkupSafe       1.0      
mitmproxy        4.0.3    
packaging        17.1     
passlib          1.7.1    
pip              10.0.1   
portpicker       1.2.0    
pyasn1           0.4.3    
pycparser        2.18     
pycryptodome     3.4.11   
pyOpenSSL        18.0.0   
pyparsing        2.2.0    
pyperclip        1.6.2    
python-engineio  2.2.0    
python-socketio  2.0.0    
pytz             2018.5   
requests         2.19.1   
ruamel.yaml      0.15.44  
setuptools       40.0.0   
six              1.11.0   
sortedcontainers 2.0.4    
tornado          5.0.2    
urllib3          1.23     
urwid            2.0.1    
Werkzeug         0.14.1   
wsproto          0.11.0  



# 查看下命令行参数帮助
(Lyrebird) cmd@TR:~$ lyrebird --help
WARNING: The proper way to show help is 'lyrebird -- --help'.
Showing help anyway.

Fire trace:
1. Initial component
2. Instantiated class "CommandLine" (/home/cmd/.pyenv/versions/3.6.5/envs/Lyrebird/lib/python3.6/site-packages/lyrebird/manager.py:127)
3. ('Could not consume arg:', '--help')

Type:        CommandLine
String form: <lyrebird.manager.CommandLine object at 0x7f4f83a07b00>
Docstring:   命令行入口

* lyrebird
以缺省参数启动lyrebird

* lyrebird start
以缺省参数启动lyrebird

* lyrebird v start
以输出详细日志模式启动lyrebird

* lyrebird no-browser start
启动lyrebird不默认打开浏览器

* lyrebird start --mock 9090 --proxy 4272 --data .
指定参数启动lyrebird
参数：
    --mock 默认9090 ， mock服务及前端端口
    --proxy 默认4272， 代理服务端口
    --data 默认./data, mock数据根目录
    --name 默认lyrebird，服务别名（用于通过别名停止指定的lyrebird服务）

* lyrebird stop
停止lyrebird

* lyrebird stop --name foo
停止别名为foo的lyrebird

Usage:       lyrebird
             lyrebird no-browser
             lyrebird resource
             lyrebird server
             lyrebird start
             lyrebird stop
             lyrebird v


# 带v 日志方式 启动lyrebird服务
(Lyrebird) cmd@TR:~$ lyrebird v start
lyrebird Load config : {
    "version": "0.10.5",
    "proxy.filters": [],
    "proxy.port": 4272,
    "mock.port": 9090,
    "mock.data": "data",
    "mock.proxy_headers": {
        "scheme": "MKScheme",
        "host": "MKOriginHost",
        "port": "MKOriginPort"
    },
    "ip": "your ip "
}
lyrebird start on your ip:9090
 * Serving Flask app "MOCK" (lazy loading)
 * Environment: production
   WARNING: Do not use the development server in a production environment.
   Use a production WSGI server instead.
 * Debug mode: on
mitmproxy start on your ip:4272  ***请在被测设备上设置代理服务器地址***
INFO - [mock_server] - 302  GET http://localhost:9090/
INFO - [mock_server] - 200  GET http://localhost:9090/ui/

小米手机设置代理参考

https://jingyan.baidu.com/article/1974b2895cb780f4b1f774b5.html
我本机是 ubuntu18.04 用的公司无线 wifi dhcp 获得 IP ，手机也是连接的公司同一 wifi
根据日志输出 “mitmproxy start on your ip:4272 请在被测设备上设置代理服务器地址” 提示，配置好手机该 wifi 代理的 ip 和端口 4272
被测设备上用浏览器打开 http://mitm.it 选 Android 提示下载 pem.crt 安装，并安装证书。

小米 mix2 miui9.6 安装 mitmproxy 证书问题解决：

用手机自带的浏览器 或者 Firefox（从日志来看小米浏览器被一个 url 为 sec.miui.com 的安全服务限制了，无法正常下载该 pem.crt 证书，Firefox 则是没有什么提示，但再此点击 Android 图标又会提示 “此证书已在此前安装为一个证书颁发机构”）

都无法正常唤起 “证书安装程序” ，最后尝试用了 Chrome ，终于点击 Android 图标下载文件 pem.crt 成功后提示并唤起了手机系统的 “证书安装程序” ，此处还要输入锁屏密码，然后就是一个 “为证书命名” 的提示框。输入一个名字 lyrebird ,确定即正常提示安装证书成功。

 

通过 Chrome 的下载管理来看该 pem 文件名

 

该证书凭据最后可以在设置 ->其他设置-> 系统安全-> 加密与凭据-> 信任的凭据-> 用户下找到，名为 mitmproxy

然后在地址 http://localhost:9090/ui/ 便可以点击 record 图标 ,来开始录制手机上操作 app 的请求。

界面只有 inspector 和 datamanager 解决　

其他界面是插件形式提供的，目前默认没有集成插件。还是需要自己装的。
安装方式如下
pip install lyrebird-ios
pip install lyrebird-android
pip install lyrebird-api-coverage

Android 界面

lyrebird-android　
需要安装该插件。目前 lyrebird　默认界面 inspector　　DataMagnager
插件有 ios 　　api-coverage 　　android
像 overbridge 和大会里提到的其他　还未开放？

这个 Android 界面，我实验了下 usb 连接真机，不开启开发者模式中的 usb 调试相关　或 adb devices -l　命令 list 不出来真机，界面上刷新 Android 界面　是找不到你的真机的。
所以还是要开启开发者模式相关。

 

可以看到真机界面（但非实时双向的）实时日志，和其他快捷启动 app 等