用selenium爬取淘宝商品

1. 目标

利用 Selenium抓取淘宝商品并用 pyquery解析得到商品的图片 、名称 、 价格、购买人数、店铺名称和店铺所在地信息，并将其保存到 MongoDB。

2.准备工作

Chrome 浏览器并配置好了 ChromeDriver;另外，还需要正确安装 Python 的 Selenium库;最后，还对接了 PhantomJS和 Firefox，请确保安装好 PhantomJS和 Firefox并配置好了 GeckoDriver。

3.分析接口

无法直接发现Ajax接口的参数（_ksTS，rn)的规律，所以用selenium来模拟浏览器，不用关注这些接口函数。

4.页面分析：

包含商品的基本信息，包括商品图片、名称、 价格、购买人数、店铺名称和店铺所在地。

抓取入口就是淘宝的搜索’页面，这个链接可以通过直接构造参数访问。

有一个分页导航，其中既包括前 5页的链接 ，也包括下一页的链接 ，同时还有一个输入任意页码跳转的链接

taobao.py

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from urllib.parse import quote
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
import pymongo
from pyquery import PyQuery as pq
from config import *


browser = webdriver.Firefox()
#browser = webdriver.PhantomJS(service_args=SERVICE_ARGS)

'''chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(chrome_options=chrome_options)
'''

wait = WebDriverWait(browser, 10)
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

'''
MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_COLLECTION = 'products'
MAX_PAGE = 100
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

KEYWORD = 'iPad'
'''
def index_page(page):
    '''
    抓取索引页
    :param page:
    :return:
    '''
    print("正在爬取第 ", page, "页")
    try:
        url = 'https://s.taobao.com/search?q=' + quote(KEYWORD)
        browser.get(url)
        if page > 1:#判断页码
            input = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager div.form > input'))
            )
            submit = wait.until(
                EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager div.form > span.btn J_Submit'))
            )
            input.clear()
            input.send_keys(page)
            submit.click()
        wait.until(
            EC.text_to_be_present_in_element((By.CSS_SELECTOR, '#mainsrp-pager li.item.active > span'), str(page))
        )
        wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, '.m-itemlist .items .item'))
            #这个选择器对应的页面内容就是每个商品的信息块
        )
        get_products()
    except TimeoutException:
        index_page(page)

def get_products():
    '''
    提取商品数据
    :return:
    '''
    html = browser.page_source#属性获取页码的源代码
    doc = pq(html)#构造了 PyQuery解析对象
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        #每次循环把它赋值为item变量，
        #每个item变量都是一个PyQuery对象
        product = {
            'image': item.find('.pic .img').attr('data-src'),
            'price': item.find('.price').text(),
            'deal': item.find('.deal-cnt').text(),
            'title': item.find('.title').text(),
            'shop': item.find('.shop').text(),
            'location': item.find('.location').text()
        }
        print(product)
        save_to_mongo(product)

def save_to_mongo(result):
    '''
    保存至DB
    :param result:
    :return:
    '''
    try:
        if db[MONGO_COLLECTION].insert(result):
            print('存储到MongoDB成功')
    except Exception:
        print('存储到MongoDB失败')


def main():
    """
       遍历每一页
    """
    for i in range(1, MAX_PAGE + 1):
        index_page(i)
    browser.close()

if __name__ == '__main__':
    main()

config.py

MONGO_URL = 'localhost'
MONGO_DB = 'taobao'
MONGO_COLLECTION = 'products'

KEYWORD = 'ipad'

MAX_PAGE = 100

SERVICE_ARGS = ['--load-images=false', '--disk-cache=true']

每次测试都需要拿手机扫描二维码登陆，并且一直爬取第一页，无法进入下一页。