51job_selenium测试

Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门

https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6EmUbbW&id=564564604865

# -*- coding: utf-8 -*-
"""
Spyder Editor

This is a temporary script file.
"""

import requests,bs4,openpyxl,time,selenium
from openpyxl.cell import get_column_letter,column_index_from_string
from selenium import webdriver
excelName="51job.xlsx"
sheetName="Sheet1"
wb1=openpyxl.load_workbook(excelName)
sheet=wb1.get_sheet_by_name(sheetName)
start=1

charset="gb2312"
site="http://jobs.51job.com/all/co198308.html"
browser=webdriver.Firefox()
browser.get(site)
linkElem=browser.find_element_by_link_text("下一页")
linkElem.click()
#elem = browser.find_element_by_class_name('el')
#返回标签的值
#elem.text
#elems = browser.find_elements_by_class_name('el')
elem=browser.find_element_by_id('joblistdata')
elem.text
'''
'洛阳医药代表（学术专员）
大专
洛阳
4500-5999/月
03-07
新乡医药代表（学术专员）
大专
新乡
4500-5999/月
03-07
郑州医药代表（学术专员）
大专
郑州-二七区
4500-5999/月
03-07
河南医药代表（学术专员）
大专
郑州-二七区
4500-5999/月
03-07
苏州医药代表(学术专员)
连云港
4500-5999/月
03-07
宁波医药代表(学术专员)
大专
宁波
6000-7999/月
03-07
杭州医药代表(学术专员)
大专
杭州
6000-7999/月
03-07
上海医药代表(学术专员)
大专
上海
4500-5999/月
03-07
盐城医药代表(学术专员)
大专
连云港
6000-7999/月
03-07
淮安医药代表(学术专员)
大专
连云港
6000-7999/月
03-07
徐州医药代表(学术专员)
大专
连云港
4500-5999/月
03-07
连云港医药代表(学术专员)
大专
连云港
4500-5999/月
03-07
会计
本科
连云港
3000-4499/月
03-07
工艺研究员
本科 | 招聘5人
连云港
4500-5999/月
03-07
药物合成
本科 | 招聘10人
连云港
3000-4499/月
03-07
财会专员
本科 | 招聘2人
连云港
2000-2999/月
03-07
会计主管
3-4年 | 本科 | 招聘1人
南京-玄武区
8-10万/年
03-07
福建产品专员
硕士
连云港
6000-7999/月
03-07
上海产品专员
硕士
上海
6000-7999/月
03-07
浙江商业代表
大专
杭州
6000-7999/月
03-07
上一页
1
2
3
4
5
6
7
下一页'
'''



#每个网站爬取相应数据
def Craw(site):
     
    res=requests.get(site)
    res.encoding = charset
    soup1=bs4.BeautifulSoup(res.text,"lxml")
    div=soup1.select('.el')
    len_div=len(div)
    for i in range(len_div):
        #print ("i:",i)
        content=div[i].getText()
        content_list=content.split('
')
         
        name=content_list[1]
        #print ("name:",name)
        education=content_list[2]
        #print ("education:",education)
        position=content_list[3]
        #print ("position:",position)
        salary=content_list[4]
        #print ("salary:",salary)
        date=content_list[5]
        #print ("date:",date)
    
        sheet['A'+str(i+2)].value=name
        sheet['B'+str(i+2)].value=education
        sheet['C'+str(i+2)].value=position
        sheet['D'+str(i+2)].value=salary
        sheet['E'+str(i+2)].value=date

''' 
Craw(site)       
wb1.save(excelName)
    '''