抓取智联招聘的工作（指定了条件）

#!usr/bin/env python
#coding:utf-8

import sys;　　
reload(sys);
sys.setdefaultencoding('utf-8');

import urllib2
from bs4 import BeautifulSoup

filename = open('work.txt','w')

user_anget = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'}

header = {
          'User-Agent' : user_anget,
          }
url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8D%97%E6%98%8C&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&sm=0&p='

#filename = open('work_url.txt','w')
url_list = []
i = 1
while i<3:
    full_url = url + str(i)
    request = urllib2.Request(full_url)
    response = urllib2.urlopen(request)
    soup = BeautifulSoup(response,'lxml',from_encoding='utf-8')
    #<td class="zwmc" style=" 250px;">
    links = soup.find_all('td',class_='zwmc')
    #print links
    for link in links:
        new_url = link.find('a')['href']
        print new_url
        url_list.append(new_url)
    i +=1
print url_list

filename = open('work.txt','a')
while len(url_list) != 0:
    new_url = url_list.pop()
    request = urllib2.Request(new_url)
    response = urllib2.urlopen(request)
    soup = BeautifulSoup(response,'lxml',from_encoding='utf-8')
    #<div class="inner-left fl"> <h1>商品专员/数据分析员</h1>
    title = soup.find('div',class_="inner-left fl").find('h1')
    #<ul class="terminal-ul clearfix">
    clearfix = soup.find('ul',class_="terminal-ul clearfix")
    #<div class="tab-inner-cont">
    cont = soup.find('div',class_="tab-inner-cont")
    #print biaoti.get_text(),yaoqiu.get_text(),zhiwu.get_text()
    
    filename.write(new_url + '
')
    filename.write(title.get_text())
    filename.write(clearfix.get_text())
    filename.write(cont.get_text())
filename.close()
print url_list

不足：

　　1、获取网页的代码可以重复利用，这里没有写好！懒，主要是。

　　2、还是没有用面向对象编程（白天试了，有些地方不懂，就pass了）

　　3、没有按自己的要求保存数据。

　　4、可能会抓取到重复，因为用的是列表，没有用集合。

　　5、抓取的网页信息是从最后一项开始抓取的，这样也不好。

我怎么感觉写的不足越来越多了啊 ，加了好几条了，(⊙﹏⊙)b，算了不写了，就这样吧，在写下去都没有信心了！

不过总体来说还是完成了自己想要实现的目的，抓取每个工作的网址，并根据抓取的网址老获取想要的信息！

有点进步，最起码代码就长了点了。