爬虫实例之selenium爬取淘宝美食

这次的实例是使用selenium爬取淘宝美食关键字下的商品信息，然后存储到MongoDB。

首先我们需要声明一个browser用来操作，我的是chrome。这里的wait是在后面的判断元素是否出现时使用，第二个参数为等待最长时间，超过该值则抛出异常。

browser = webdriver.Chrome()
wait = WebDriverWait(browser,10)

声明好之后就需要进行打开网页、进行搜索的操作。

#使用webdriver打开chrome，打开淘宝页面，搜索美食关键字，返回总页数
def search():
    try:
        browser.get('https://www.taobao.com')
 
#判断输入框是否已经加载
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#q')))  

#判断搜索按钮是否可以进行点击操作       
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))

#输入美食，点击搜索按钮
        input.send_keys('美食')
        submit.click()    

#使用css_selector找到显示总页面的元素，判断是否出现并获取其中文字
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
        get_products()
        return total.text
    except TimeoutException:
        print('timeout!')
        return search()

第一个页面操作之后，我们需要进行翻页操作，如下：

#进行页面的跳转，输入下一页的页号，然后点击确定按钮，在高亮区域判定是否正确跳转
def next_page(page_num):
    try:

#判断输入框是否出现
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input')))

#判断确定按钮是否可点击
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))

#清空输入框现有内容然后输入页号，点击确定
        input.clear()
        input.send_keys(page_num)
        submit.click()

#根据高亮区域显示数字来判断页面是否跳转成功        
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_num)))

#跳转成功则获取该页所有商品详情
        get_products()        
    except TimeoutException:
        next_page(page_num)

写完搜索操作和翻页操作后，我们需要完成对每个页面的商品信息获取功能。

#获取商品详情
def get_products():

#判断商品的item是否加载出来
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))

#获取该页的源代码
    html = browser.page_source

#使用pyquery进行解析，获取需要的信息
    doc = pq(html)
    items = doc('#mainsrp-itemlist .items .item').items()
    for item in items:
        product = {
            'image':item.find('.pic .img').attr('src'),
            'price':item.find('.price').text(),
            'deal':item.find('.deal-cnt').text()[:-3],
            'title':item.find('.title').text(),
            'shop':item.find('.shop').text(),
            'location':item.find('.location').text(),
        }
        print(product)
        save_to_mongo(product)

获取信息之后则需要对信息进行存储：

def save_to_mongo(result):
    try:
        if db[MONGO_TABLE].insert(result):
            print('存储成功',result)
    except Exception:
        print('存储失败',result)

主函数：

def main():
    total = search()
    total = int(re.search('(d+)',total).group(1))   #'d'表示匹配数字
    for i in range(2,total+1):
        next_page(i)

附上完整源码