拉钩项目(一)--项目流程+数据提取

声明：

　　　1）仅作为个人学习，如有冒犯，告知速删！

　　　2）不想误导，如有错误，不吝指教！

　　   3）文章配套视频：http://www.bilibili.com/video/BV1aC4y1a7nR?share_medium=android&share_source=copy_link&bbid=XY1C2901EE0D25CCEC5E23A673F2026B36BEF&ts=1592703866866

目标：

　　　1. 爬取拉钩网中的关于编程语言的 1）薪资，2）城市范围，3）工作年限，4）学历要求;

　　　2 .将四部分保存到mysql中;

　　　3.对四部分进行数据可视化;

　　　4.最后通过pyecharts+bootstrap进行网页美化 .

技能点：

　　   1. python网络基础(requests,xpath语法等)；

　　　2. MySQL+ pymysql的语法基础；

　　　3. pyecharts基础；

　　　4. bootstrap基础；

项目流程及逻辑：

　　　大方向：先完成爬取一类的信息，进行可视化，走一遍流程很重要，再拓展！

 

1.进入以下位置：

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　------->刷新找到请求url：<--------

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　------->分析+请求参数：<--------

 

 

　　　　　　　　　　　　　　　　　　　　　　　------->因为url是post请求，我们需要提交参数，往下滑：<-------

 

2.解决反爬机制

1. 上面的操作解决的是------>拉钩的ajax请求方式

2. 隐藏在cookies中的时间戳处理：------>session来保持会话-----实时更新cookies

#获取cookies的函数
#start_url = "https://www.lagou.com/jobs/list_python?#labelWords=&fromSearch=true&suginput="
def cookieRequest(start_url):
    r = requests.Session()
    r.get(url=start_url, headers=headers, timeout=3)
    return r.cookies

3.构造流程

1.构造主函数：

if __name__ == '__main__':
    #初始url---获取cookies
    start_url = "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput="
    #模拟请求url
    post_url = "https://www.lagou.com/jobs/positionAjax.json?"
    #headers
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
        "accept": "application/json, text/javascript, */*; q=0.01",
        "accept-encoding": "gzip, deflate, br",
        "accept-language": "zh-CN,zh;q=0.9,en;q=0.8",
        "referer": "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=",
    }
    # 动态cookies
    cookies = cookieRequest(start_url)
    time.sleep(1)
    #异常处理
    try:
        data = {
            "first": "true",
            "pn": 1  # 1
            "kd": "python",
        }
        textInformation(post_url, data, cookies)
        time.sleep(7)
        print('------------第%s页爬取成功，正在进行下一页--------------' % s)
    except requests.exceptions.ConnectionError:
        r.status_code = "Connection refused"

2.构造基础页函数

def textInformation(post_url, data, cookies):
    response = requests.post(post_url, headers=headers, data=data, cookies=cookies,timeout=3).text
    div1 = json.loads(response)
    # 拿到该页的职位信息
    position_data = div1["content"]["positionResult"]["result"]
    n = 1
    for list in position_data:
        infor = {
                    "positionName": result["positionName"],
​
                    "companyFullName": result["companyFullName"],
                    "companySize": result["companySize"],
                    "industryField": result["industryField"],
                    "financeStage": result["financeStage"],
​
                    "firstType": result["firstType"],
                    "secondType": result["secondType"],
                    "thirdType": result["thirdType"],
​
                    "positionLables": result["positionLables"],
​
                    "createTime": result["createTime"],
​
                    "city": result["city"],
                    "district": result["district"],
                    "businessZones": result["businessZones"],
​
                    "salary": result["salary"],
                    "workYear": result["workYear"],
                    "jobNature": result["jobNature"],
                    "education": result["education"],
​
                    "positionAdvantage": result["positionAdvantage"]
                }
​
        print(infor)
        time.sleep(5)
        print('----------写入%s次-------' %n)
        n +=1

3.单独获取每个类的show_id(详情页使用):

https://www.lagou.com/jobs/4254613.html? show=0977e2e185564709bebd04fe72a34c9f

show_id = []
def getShowId(post_url, headers, cookies):
    data = {
        "first": "true",
        "pn": 1,
        "kd": "python",
    }
    response = requests.post(post_url, headers=headers, data=data, cookies=cookies).text
    div1 = json.loads(response)
    # 拿到该页的职位信息
    position_data = div1["content"]["positionResult"]["result"]
    # 详情页的show_id
    position_show_id = div1['content']['showId']
    show_id.append(position_show_id)
    # return position_show_id

4.详情页信息

def detailinformation(detail_id, show_id):
     get_url = "https://www.lagou.com/jobs/{}.html?show={}".format(detail_id, show_id)
     # time.sleep(2)
     # 详情页信息
     response = requests.get(get_url, headers=headers,timeout=5).text
     # print(response)
     html = etree.HTML(response)
     div1 = html.xpath("//div[@class='job-detail']/p/text()")
     # 职位详情/清洗数据
     position_list = [i.replace(u'xa0', u'') for i in div1]
     # print(position_list)
     return position_list

完整代码放在GitHub中：

　　https://github.com/xbhog/studyProject

4.暂没解决/完善的问题

1. 详情页在mysql保存到的时候，有些没有数据，可能是网络抖动或者请求频繁

2. 没有使用多线程

3. 没有使用scrapy框架

4. 没有使用类方法

   ------>下期内容<---------

数据存储：----存储环境ubuntu

1. Mysql存储

2. csv存储

数据存储链接：https://www.cnblogs.com/xbhog/p/13141128.html