selelinum+PhantomJS 爬取拉钩网职位

使用selenium+PhantomJS爬取拉钩网职位信息，保存在csv文件至本地磁盘

拉钩网的职位页面，点击下一页，职位信息加载，但是浏览器的url的不变，说明数据不是发送get请求得到的。

我们不去寻找它的API。这里使用另一种方式：使用PhantomJS模拟浏览，通过单击页面获取下一页。

这里的PhantomJS是一个没有界面的浏览器。

from selenium import webdriver
import time
import random

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

'''
使用selenium+PhantomJS爬取拉钩网职位信息，保存到csv文件至本地磁盘
需要加请求头
'''


'''
phantomjs.page.customHeaders.   :自定义请求头的固定写法
如：定义代理：phantomjs.page.customHeaders.User-Agent
'''
dc = {
    'phantomjs.page.customHeaders.User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}

# 创建浏览器对象
browser = webdriver.PhantomJS(executable_path=r'E:PycharmProjectspachongphantomjs-2.1.1-windowsphantomjs-2.1.1-windowsinphantomjs.exe',desired_capabilities=dc)

# 发送请求
browser.get('https://www.lagou.com/jobs/list_?labelWords=&fromSearch=true&suginput=')
time.sleep(2)

# 保存网页截图
browser.save_screenshot('lagou.png')

# 实例化wait对象 设置等待超时时间为20秒
wait = WebDriverWait(browser,20)

# # 创建csv文件
f = open('lagou.csv','w',encoding='utf-8')

while True:
    # 获取数据
    job_list = browser.find_elements_by_css_selector('.item_con_list li')
    for job in job_list:
        pname = job.find_element_by_tag_name('h3').text
        ptime = job.find_element_by_class_name('format-time').text
        company = job.find_element_by_css_selector('.company_name a').text
        money = job.find_element_by_class_name('money').text
        exp = job.find_element_by_class_name('li_b_l').text.split(' ')[1] #这里的text不取div里面的标签的内容，只取div中的内容。类名为li_b_l的div有两个，经验属于第二个，还有一个工作要求的
        location = job.find_element_by_tag_name('em').text
        reqtags = job.find_elements_by_css_selector('.li_b_l span') #div的类是li_b_l,里面含有很多span标签.会把工资的那一个也包含进来，后面需要处理
        reqtags = ' '.join([reqtag.text for reqtag in reqtags][1:]) #每个条目的第一项是工资的那个，这里使用列表的切片去掉。

        # 将数据放入一个列表，便于后面csv文件格式处理，使用，隔开每一项
        data = [pname,ptime,company,money,exp,location,reqtags]
        # print(data)
        f.write(','.join(data) + '
')

        print(data)
    if 'pager_next pager_next_disabled' not in browser.page_source:
        # 获取下一页按钮
        wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next '))) #原网页中的类的最后有一个空格
        # 点击进入下一页
        browser.find_element_by_class_name('pager_next ').click()
        time.sleep(3 + random.random()*1) #时间需要延长一点，时间太短，页面没有加载完成，获取数据会报错
    else:
        break

# 关闭文件
f.close()

---

selelinum+PhantomJS 爬取拉钩网职位2

上面的代码中，使用selenium中的方法提取网页中的数据，有部分功能不好用，延时比较厉害。这里使用bs4提取网页中的数据，速度较快。

from selenium import webdriver
import time
import re
import random
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from bs4 import BeautifulSoup
'''
selenium+Chrome 抓取拉钩网职位
使用xpath bs4解析。
'''

browser = webdriver.Chrome(executable_path=r'E:PycharmProjectspachongchromedriver.exe')
browser.get('https://www.lagou.com/jobs/list_?labelWords=&fromSearch=true&suginput=')
time.sleep(2)
f = open('lagou2.csv',mode='w',encoding='utf-8')

#设置等待超时时间为20秒
wait = WebDriverWait(browser,20)


# #使用Chrome驱动的提供的方法查找网页元素，在这里使用列表的分页，有延时
# while True:
#     # 获取数据
#     job_list = browser.find_elements_by_css_selector('.item_con_list li')
#     for job in job_list:
#         pname = job.find_element_by_tag_name('h3').text
#         ptime = job.find_element_by_class_name('format-time').text
#         company = job.find_element_by_css_selector('.company_name a').text
#         money = job.find_element_by_class_name('money').text
#         exp = job.find_element_by_class_name('li_b_l').text.split(' ')[1] #这里的text不取div里面的标签的内容，只取div中的内容。类名为li_b_l的div有两个，经验属于第二个，还有一个工作要求的
#         location = job.find_element_by_tag_name('em').text
#         reqtags = job.find_elements_by_css_selector('.li_b_l span') #div的类是li_b_l,里面含有很多span标签.会把工资的那一个也包含进来，后面需要处理
#         reqtags = ' '.join([reqtag.text for reqtag in reqtags][1:]) #每个条目的第一项是工资的那个，这里使用列表的切片去掉。
#
#         # 将数据放入一个列表，便于后面csv文件格式处理，使用，隔开每一项
#         data = [pname,ptime,company,money,exp,location,reqtags]
#         # print(data)
#         f.write(','.join(data) + '
')
#
#         print(data)
#     if 'pager_next pager_next_disabled' not in browser.page_source:
#         # 获取下一页按钮
#         wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next '))) #原网页中的类的最后有一个空格
#         # 点击进入下一页
#         browser.find_element_by_class_name('pager_next ').click()
#         time.sleep(3 + random.random()*1) #时间需要延长一点，时间太短，页面没有加载完成，获取数据会报错
#     else:
#         break



while True:
    # 获取数据

    wait.until(EC.presence_of_element_located((By.CLASS_NAME,'item_con_list'))) #等待职位信息加载

    html = browser.page_source
    html = BeautifulSoup(html,'lxml')
    job_list = html.select('ul[class="item_con_list"] li')

    for job in job_list:
        pname = job.h3.text
        ptime = job.select('span[class="format-time"]')[0].text
        company = job.select('div[class="company_name"] a')[0].text
        money = job.select('span[class="money"]')[0].text
        exp = job.select('div[class="li_b_l"]')[0].text
        exp = re.split('s',exp)[2] #使用正则切割 s匹配所有空白，这里主要匹配 空格 和 
。第三项是工作经验

        location = job.select('span[class="add"] em')[0].text

        tags = job.select('div[class="li_b_l"] span') #tags 匹配出匹配出两部分，一部分是薪资，一部分是工作要求，后面进行过滤后只要工作要求
        tag_list = [tag.text for tag in tags[1:]] #这里过滤掉薪资数据，只留下工作要求

        # print(tag_list)
        tags = ' '.join(tag_list)
        data = [pname,ptime,company,money,exp,location,tags]
        print(data)

        f.write(','.join(data) + '
')

    if 'pager_next_disabled' not in browser.page_source:
        # 获取下一页
        wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'pager_next')))
        browser.find_element_by_class_name('pager_next').click()
        time.sleep(1+random.random()) #延时太短可能加载未完成。抓取页面数据程序会报错，在开头检测职位加载等待，这里时间可以少一点。
    else:
        break

f.close()