Scrapy爬虫day1——环境配置

安装 Scrapy

pip install scrapy

 

配置虚拟环境

mkvirtualenv Spider

创建项目

在Spider的虚拟环境中运行

scrapy startproject BookSpider

  

项目目录树

E:.
└─BookSpider
    │  scrapy.cfg
    │
    └─BookSpider
        │  items.py
        │  middlewares.py
        │  pipelines.py
        │  settings.py
        │  __init__.py
        │
        ├─spiders
        │  │  __init__.py
        │  │
        │  └─__pycache__
        └─__pycache__

创建爬虫

进入项目目录中运行

scrapy genspider biqubao_spider biqubao.com

创建爬虫的项目目录树

E:.
└─BookSpider
    │  scrapy.cfg
    │
    └─BookSpider
        │  items.py
        │  middlewares.py
        │  pipelines.py
        │  settings.py
        │  __init__.py
        │
        ├─spiders
        │  │  biqubao_spider.py
        │  │  __init__.py
        │  │
        │  └─__pycache__
        │          __init__.cpython-36.pyc
        │
        └─__pycache__
                settings.cpython-36.pyc
                __init__.cpython-36.pyc