python爬虫 解析库的安装(lxml、Beautiful Soup、pyquery)
简介
抓取网页代码之后,下一步就是从网页中提取信息。提取信息的方式有多种多样,可以使用正则来提取,但是写起来相对比较繁琐。这里还有许多强大的解析库,如lxml、Beautiful Soup、pyquery等,此外,还提供了非常强大的解析方法,如XPath解析和CSS选择器解析等,利用它们,我们可以高校便捷地从网页中提取有效信息。
lxml的安装
->lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
->Ubuntu pip安装命令如下:
pip3 install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
->如果报错可能是缺少了必要的类库,执行如下名命令安装:
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
->验证安装
Beautiful Soup的安装
->Beautiful Soup是python的一个HTML或XML的解析库,我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式,本节就来了解下它的安装方式。
->Beautiful Soup的HTML和XML解析器是依赖于lxml库的,所以在此之前请确保已经成功安装好了lxml库,具体的安装方式参见上街。
->Beautiful Soup的最新版本是4.x版本,之前的版本已经停止开发了。这里推荐使用pip来安装,安装命令如下:
pip3 install beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple/
->验证安装
pyquery的安装
->pyquery同样是一个强大的网页解析工具,它提供了和JQuery类似的语法来解析HTML文档,支持CSS
选择器,使用非常方便
->pip安装命令如下:
pip3 install pyquery -i https://pypi.tuna.tsinghua.edu.cn/simple/
->验证安装