前言:为了将爬虫项目布置到服务器上,才有了今天这一下午的坑,必须记录
不要动现有的python2环境!不要动现有的python2环境!不要动现有的python2环境!
解压
tar -xvf Python-3.5.5.tgz
开始安装
./configure --prefix=/usr/local/python35 --with-ssl
接下来
make
make install
设置软链,打死不要命名python为python3的软链!!!
ln -s /usr/local/python35/bin/python3.5 /usr/bin/python3
pip重中之中
1、安装pip前需要前置安装setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
tar -zxvf setuptools-19.6.tar.gz
cd setuptools-19.6
python3 setup.py build
python3 setup.py install
报错:RuntimeError: Compression requires the (missing) zlib module
我们需要在linux中安装zlib-devel包,进行支持。
yum install zlib-devel
需要对python3.5进行重新编译安装。(make & make install)
cd python3.5
make & make install
又是漫长的编译安装过程。
重新安装setuptools
python3 setup.py build
python3 setup.py install
2、安装pip
wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
tar -zxvf pip-8.0.2.tar.gz
cd pip-8.0.2
python3 setup.py build
python3 setup.py install
如果没有意外的话,pip安装完成。
测试:
我们使用pip安装一个python3第三方库:python3 -m pip install paramiko
ImportError: cannot import name 'HTTPSHandler'
缺少openssl的开发环境,我们继续安装
yum install openssl-devel
继续重新编译安装python3.5(make & make install)
ok,我们终于完成了整个python3环境的安装。
pip3:
ln -s /usr/local/python3.5/bin/pip3 /usr/bin/pip3
安装scrapy
1.这里需要先安装Twisted 并且版本越高越好,否则会不支持报如下错误
ModuleNotFoundError: No module named 'twisted.persisted'
pip3 install Twisted
我在这里找不到这个版本,就直接使用了如下这个:
wget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2
2.解压下载下来的Twisted-17.9.0.tar.bz2
tar -xvf Twisted-17.9.0.tar.bz2
如果报错:
tar (child): lbzip2: Cannot exec: No such file or directory
tar (child): Error is not recoverable: exiting now
tar: Child returned status 2
tar: Error is not recoverable: exiting now
安装命令
yum -y install bzip2
3.安装
进入解压后的目录,执行:
python setup.py install
4.pip3 install scrapy就可以成功了