• 学习笔记:python3,PIP安装第三方库(2017)


    https://pip.pypa.io/en/latest/quickstart/    pip的使用文档

    http://www.lfd.uci.edu/~gohlke/pythonlibs/      .whl文件 到这个网站下载   (通常情况下是用pip install安装,有些库安装遇到困难后,就要到这个站点,下载.whl 文件再安装)

    https://pypi.python.org/pypi   PyPI - Python包索引 。是Python编程语言的软件仓库。

    https://pypi.douban.com/simple/  豆瓣的库  (安装命令:pip install -i https://pypi.douban.com/simple/  scrapy )

    https://docs.python.org/3/py-modindex.html  Python Module Index  2017-10-4

    https://wiki.python.org/moin/UsefulModules

    https://www.zhihu.com/question/24590883  哪些 Python 库让你相见恨晚?(可以看看)  2017-10-4

    https://www.zhihu.com/question/28530832  怎么用最短时间高效而踏实地学习 Python?(有一些好笑的蛇状图)

    https://segmentfault.com/a/1190000011568813  《流畅的python》阅读笔记  2017-10-21

    https://baike.baidu.com/item/RESTful/4406165  Restful,一种软件架构风格


    第三方库的文档:

    https://www.w3cschool.cn/tensorflow_python/  TensorFlow官方文档

    http://www.tensorfly.cn/tfdoc/get_started/introduction.html  TensorFlow中文社区

    https://github.com/jobbole/awesome-python-cn  Python 资源大全中文版

    https://zhuanlan.zhihu.com/p/30435576  2017 年最流行的 15 个数据科学 Python 库


    正文:

    当前环境:win7,python3.6.0,pyCharm4.5。  python目录是:c:/python3/

    安装完的库,都被保存在这里:  C:Python3Libsite-packages

    pip 之于 python,  犹如 npm 之于 node.js,  亦犹如 package control 之于 Sublime Text 

    pip常用命令:  某个库(例如是bs4),查看、安装、更新、卸载:  2017-10-18

    python -m pip install --upgrade pip             # 升级pip(python3.4之后的版本都自带了PIP,但是需要升级之后才能使用)
    python -m pip install --upgrade setuptools      # 升级 setuptools
    
    pip install --force-reinstall --upgrade pip     # 重新安装pip
    pip list                        # 查看已安装的库
    pip list --format=columns                       # 按列显示
    
    pip show   bs4               # 查看bs4
    pip install   bs4            # 安装bs4
    pip install -U   bs4         # 更新bs4
    pip uninstall    bs4         # 卸载bs4

    如果系统路径没装对的话,用下面命令:

    cd C:Python3scripts
    C:Python3scripts>  python pip.exe list             # 查看已安装的库
    
    C:Python3scripts>  python pip.exe show   bs4          # 查看bs4
    C:Python3scripts>  python pip.exe install   bs4       # 安装bs4
    C:Python3scripts>  python pip.exe install -U   bs4    # 更新bs4
    C:Python3scripts>  python pip.exe uninstall   bs4     # 卸载bs4

    PIP安装其它的库 (win7机子)

    pip install requests                  # 可以直接安装
    pip install requests‑2.18.4‑py2.py3‑none‑any.whl  # http://www.lfd.uci.edu/~gohlke/pythonlibs/ 也可以到这里去找.whl文件,下载后安装

    第一种方法,直接安装:

    cd C:Python3scripts
    pip install arrow ———— 时间 arrow 0.10.0
    pip install bs4 ———— BeautifulSoup4(4.6.0)  HTML 解析器
    pip install beautifulsoup4
    pip install html5lib ———— html5解析器,BeautifulSoup要用到
    pip install lxml ———— lxml4.1.0 解析器,BeautifulSoup要用到
    pip install cookies ———— cookies2.2.1
    pip install Django ———— Django1.11.6 网站
    pip install flask ———— flask0.12.2 网站
    pip install jieba ———— jieba0.39 中文分词,词频统计
    pip install matplotlib ———— matplotlib2.1.0 2D绘图库
    pip install numpy ———— numpy1.13.3 开源的数值计算扩展。这种工具可用来存储和处理大型矩阵
    pip install pdfkit ———— pdfkit0.6.1 操作pdf
    pip install pillow ———— pillow4.3.0 由于PIL仅支持到Python 2.7,加上年久失修,于是一群志愿者在PIL的基础上创建了兼容的版本,名字叫Pillow,支持最新Python 3.x,又加入了许多新特性,因此,我们可以直接安装使用Pillow
    pip install pymysql ———— pymysql0.7.10,数据库连接库,连接mysql的
    pip install pymongo ———— pymongo3.5.1,数据库连接库,连接mongo的
    pip install pytesseract ———— pytesseract0.1.7 ,Tesseract-OCR(识别图像中的文字,还得另外安装其它的。详见博客中的文章)
    pip install pyquery ———— pyquery1.3.0
    pip install requests ———— requests2.18.4 优雅,简单,人性化的 HTTP 库
    pip install urllib3 ———— urllib3 1.22
    pip install wheel ———— wheel0.30.0
    pip install wordcloud ———— wordcloud 1.3.1 词云图
    pip install xlrd ———— xlrd (1.1.0) 读excel
    pip install xlwt ———— xlwt (1.3.0) 写excel
    pip install setuptools ———— setuptools36.6.0
    pip install pymouse ———— 模拟鼠标操作
    pip install PyAotuGUI ———— PyAotuGUI0.9.36,模拟鼠标键盘操作
    pip install selenium ———— selenium3.3.1 ,selenium + python自动化测试环境搭建
    pip install scrapy ———— 这个安装比较麻烦,有很多依赖的库(主要是各种依赖装完了就好,Twisted、vc++等)。最好弄个docker已经装好的镜像来做。
    pip install cx_Oracle ———— cx_Oracle6.0.2 oracle数据库

    第二种方法,使用.whl安装:

    windows下那些不能直接安装的库,一般都是因为缺少依赖之类的。解决方法有几种:

    • 用.whl安装
    • 升级python3到最新版本
    • 另行安装依赖

    http://www.lfd.uci.edu/~gohlke/pythonlibs/   到这个网站下载.whl文件

    不要管它是 win32.whl ,还是  win_amd64.whl,一个不行就试另一个。(如果这样还是装不上,又搞不清楚缺了什么依赖的。咱就别费劲了,docker上找个镜像,在远程试试就得了。)

    pip  install  wordcloud‑1.3.2‑cp36‑cp36m‑win32.whl   ————  词云 1.3.2

    第三种方法,用文本文件的安装:

    pip install –r aaa.txt  # 从文本中安装,文本中为包名,一行一个 
    pip freeze > aaa.txt  # 导出当前已经安装包 

    还没试用的库:

    urllib3  一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。(Python HTTP库,安全连接池、支持文件post、可用性高)

      https://github.com/shazow/urllib3 官网

      http://www.cnblogs.com/KGoing/p/6146999.html  下次看看

    pyquery – 一个解析 HTML 的库,类似 jQuery。https://github.com/gawel/pyquery

    matplotlib  Matplotlib 能够创建多数类型的图表,如条形图,散点图,条形图,饼图,堆叠图,3D 图和地图图表。  http://matplotlib.sourceforge.net/

          http://www.jianshu.com/p/aa4150cf6c7f  matplotlib教程

    Tenacity  Exception Retry 从此无比简单  https://kingname.info/2017/06/18/easy-retry/

    TensorFlow  TensorFlow 是一个使用数据流图(data flow graphs)的数值计算库  https://www.tensorflow.org/

    py2exe  (把代码直接编译成executable,所有人能运行)

    simplejson(更快)


    爬虫:

    除了基础的 requests 包(http://docs.python-requests.org/en/master/user/quickstart/)以外,python用于抓取页面和网站的最常用和重要的6个库如下:

    # Selenium
    api文档:http://seleniumhq.github.io/selenium/docs/api/py/
    文档: http://selenium-python.readthedocs.io/
    抓取网站指导: http://thiagomarzagao.com/2013/11/12/webscraping-with-selenium-part-1/
    抓取旅馆价格的代码示例: https://www.scrapehero.com/tutorial-web-scraping-hotel-prices-using-selenium-and-python/

    # Beautiful Soup 4
    中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
    http://beautifulsoup.readthedocs.io/zh_CN/latest/
    简单例子:https://gist.github.com/bradmontgomery/1872970

    # pyspider
    github文档:https://github.com/binux/pyspider

    # scrapy
    官网文档:https://scrapy.org/
    抓取一个电商网站的例子:https://medium.com/@kaismh/extracting-data-from-websites-using-scrapy-e1e1e357651a#.sw7c9ycio
    Scrapinghub:云基的爬虫服务 https://scrapinghub.com/

    # lxml
    官网文档:http://lxml.de/index.html#introduction
    一个更通俗易懂的抓取页面示例的教程:http://docs.python-guide.org/en/latest/scenarios/scrape/

    # MechanicalSoup
    github文档:https://github.com/MechanicalSoup/MechanicalSoup
    详细文档:https://mechanicalsoup.readthedocs.io/en/latest/


    目前Python主要应用领域:

    • 云计算:       云计算最火的语言, 典型应用OpenStack
    • WEB开发:     众多优秀的WEB框架,众多大型网站均为Python开发,Youtube, Dropbox, 豆瓣。。。, 典型WEB框架有Django
    • 科学运算、人工智能:   典型库NumPy, SciPy, Matplotlib, Enthought librarys,pandas
    • 系统运维:       运维人员必备语言
    • 金融:      量化交易,金融分析,在金融工程领域,Python不但在用,且用的最多,而且重要性逐年提高。原因:作为动态语言的Python,语言结构清晰简单,库丰富,成熟稳定,科学计算和统计分析都很牛逼,生产效率远远高于c,c++,java,尤其擅长策略回测
    • 图形GUI:       PyQT, WxPython,TkInter

    补充阅读:https://www.cnblogs.com/CoXieLearnPython/p/9514459.html


    一些python模块

    functools, itertools, operator 是Python标准库为我们提供的支持函数式编程的三大模块

    ...

  • 相关阅读:
    【Todo】Java线程面试题 Top 50 (转载)
    【Todo】秒杀系统 & 乐观锁 & Nginx反向代理
    【Todo】C++和Java里面的浮点数及各种数字表示
    asp.net操作word的表格
    Android消息推送(二)--基于MQTT协议实现的推送功能
    单点更新线段树 RMQ
    英语月结
    AppWidget应用(二)---PendingIntent 之 getActivity
    2 WAN 和1 Evo/3g Routeros PCC 方法负载平衡
    Android 网络权限配置
  • 原文地址:https://www.cnblogs.com/qq21270/p/6655583.html
Copyright © 2020-2023  润新知