python 爬取字节内推招聘信息

　　今天收到一个任务，用 python 爬取招聘网站信息。招聘网址是这个：https://job.toutiao.com/s/JNcJSRo。打开之后自动跳转到了这里：https://job.bytedance.com/referral/pc/position?token=MzsxNTk0NDQzMDMxOTkzOzY3NzE1NjI2MDc2ODMyNTc4Njk7MA。

　　常规操作，先审查元素。每一个职位的 title 和职位描述是相同的 class，如果可以得到页面静态内容，就可以把招聘信息保存下来了。

import requests
url = "https://job.bytedance.com/referral/pc/position?token=MzsxNTk0NDQzMDMxOTkzOzY3NzE1NjI2MDc2ODMyNTc4Njk7MA"
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
resp = requests.get(url,headers=headers)
print(resp.text)

　　打印的文本没有发现什么有用信息，很明显，这里的数据都是另外通过 POST 请求获取的。监听一下网络请求，发现了数据来源。

　　既然可以完整的看到需要的数据，模拟一个一样的请求不就可以了吗。分析后调整代码。

import requests
import json

def getJobData():
    url = "https://job.bytedance.com/api/v1/search/job/posts?keyword=&limit=10&offset=0&job_category_id_list=&location_code_list=&subject_id_list=&recruitment_id_list=&portal_type=1&portal_entrance=1&_signature=7ZAzMgAgEAgBrEgAxo1ege2QMyAALLC"
    headers = {
    'accept':'application/json, text/plain, */*',
    'accept-encoding':'gzip, deflate, br',
    'accept-language':'zh-CN',
    'content-type':'application/json',
    'cookie':'referral-token=MzsxNTk0NDQzMDMxOTkzOzY3NzE1NjI2MDc2ODMyNTc4Njk7MA; channel=referral; platform=pc; s_v_web_id=kddyb7ab_IRgnUvNC_fthm_45Io_9aFj_nBUcCkZP3U3c; device-id=6856593760391792135; TS01ab245c=015df6ccf27d7fed70cc0134a66cf6caed02d10578dff54bbbb38f2bec5d8d76af64ca121c34e7472fe6ab288bce53c5044a27abf2; SLARDAR_WEB_ID=bb0ff545-72f9-440a-9574-4ea5ae7bb74e; TS0170d300=015df6ccf28055e45208edcc51b025a5ed540a12f025e46e1d8699ecb874d4d16d0dfa4aefe40f75beea5c836bda606eb3839ed21b; atsx-csrf-token=9xQgHaOg5kY17BZGoxQXuM0_B9rT9S17F4ya-z6hxD4%3D',
    'env':'undefined',
    'origin':'https://job.bytedance.com',
    'portal-channel':'referral',
    'portal-platform':'pc',
    'referer':'https://job.bytedance.com/referral/pc/position?token=MzsxNTk0NDQzMDMxOTkzOzY3NzE1NjI2MDc2ODMyNTc4Njk7MA',
    'sec-fetch-dest':'empty',
    'sec-fetch-mode':'cors',
    'sec-fetch-site':'same-origin',
    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
    'website-path':'referral',
    'x-csrf-token':'9xQgHaOg5kY17BZGoxQXuM0_B9rT9S17F4ya-z6hxD4='
    }
    data={
    'keyword':'',
    'limit':10000,
    'offset':0,
    'job_category_id_list':[],
    'location_code_list':[],
    'subject_id_list':[],
    'recruitment_id_list':[],
    'portal_type':1,
    'portal_entrance':1,
    '_signature':'7ZAzMgAgEAgBrEgAxo1ege2QMyAALLC'
    }
    param = json.dumps(data)
    resp = requests.post(url=url,data=param,headers=headers)
    # 知道为啥打印这个 status 吗？
    print(resp.status_code)
    job_data = resp.json()
    job_list = job_data["data"]["job_post_list"]
    return job_list

def saveFile():
    fi = open('job.bytedance.data.txt','r+',encoding='utf-8')
    jobs = getJobData()
    print("共有职位：" + str(len(jobs)) + " 个")
    for i in range(len(jobs)):
        city = jobs[i]["city_info"]["name"]
        title = jobs[i]["title"]
        desc = jobs[i]["description"]
        requirement = jobs[i]["requirement"]
        fi.write(city + "-" + title + "
【职位描述】
" + desc + "
【职位要求】
" + requirement + "

")

saveFile()

　　保存下来的文件有10.5Mb，网页上有1000个分页，每页10条信息，所以直接将请求参数 limit 改成了10000。

　　10000个职位，我的天！

　　然而没有一个职位属于我。

　　？

　　？？

　　？？？

　　继续失业吧。