1.数据收集
- scrapy：网页采集、爬虫。
- scrapy-redis：分布式爬虫。
- selenium：web测试、仿真浏览器。
2.数据处理
- beautifulsoup：网页解释库，提供lxml的支持。
- lxml：xml解释库。
- xlrd：excel文件读取。
- xlwt：excel文件写入。
- slutls：excel文件简单格式修改。
- pywin32：excel文件的读取写入及复杂格式定制。
- Python-docx：Word文件的读取写入。
3.数据分析
- numpy：基于矩阵的数学计算库。
- pandas：基于表格的统计分析库。
- scipy：科学计算库，支持高阶抽象和复杂模型。
- statsmodels：统计建模和计量经济学工具包。
- scikit-learn：机器学习工具库。
- gensim：自然语言处理工具库。
- jeba：中文分词工具库。
4.数据存储
- MySQL-python：mysql的读写接口库。
- mysqlclient：mysql的读写接口库。
- SQLAlchemy：数据库的ORM封装。
- pymysql：sqlserver读写接口库。
- redis：redis的读写接口。
- PyMongo：MongoDB的读写接口。
5.数据呈现
- matplotlib：流行的数据可视化库。
- seaborn：美观的数据可视化库，基于matplotlib。
6.工具辅助
- jupyter：基于web的pythonIDE，常用于数据分析。
- chardet：字符检查工具。
- ConfigParser：配置文件读写支持。
- requests：HTTP库，用于网络访问。