（二）反爬机制

1.反爬机制函数

下面是已定义好的反爬函数一个函数对应一个或N个知识点，相互调用构造调试反爬。

# 1.随机头部
def 随机头部():
    from fake_useragent import UserAgent
    my_headers = {
        'User-Agent': UserAgent().random,  # 注意是‘User-Agent’不是‘User_Agent’
        'referer': 'https://music.163.com/discover/toplist',  # 浏览器->初始页F12->network->Headers->拷贝referer:'内容粘贴至此'
    }
    return my_headers

# 2.cookies(保持登录状态1)
def cookies():
    cookie_str = ''  # 浏览器->F12->network->Headers->拷贝cookie:'内容粘贴至此'
    cookies = cookie_str.split(';')  # 以;分割
    cookies_dic = {}  # 字典来装列表形式
    for cookie in cookies:  # 遍历列表
        cookies_dic[cookie.split('=', 1)[0]] = cookie.split('=', 1)[1]  # 以=号分割2次取索引0作为key值1作为values
    return cookies_dic  # 这个函数返回的字典列表

# 3.保持会话框(保持登录状态2)
def 会话框():
    import requests
    session = requests.session()  # 初始化会话框
    session.get(url='https://music.163.com/#/discover', headers=随机头部())  # 通过session.get(当前url)连接下一个url,保持网页是同一个会话。# 浏览器->F12->network->Headers->拷贝xhr文件->Request URL:'内容粘贴至此'
    cookies = session.cookies  # 调用参数得到cookies: 内含用户基本信息
    return cookies

# 4.定义代理IP列表
def ip池(base_url):
    import requests
    import lxml.html
    import time
    for url in base_url:  # 遍历base_url列表
        reponse = requests.get(url=url, headers=随机头部(), cookies=会话框()).content.decode()  # 获取内容解码转换(默认'utf-8')
        time.sleep(2)
        selector = lxml.html.fromstring(reponse)  # 将网页源代码打包
        data_list = selector.xpath('//*[@id="list"]/table/tbody/tr')  # 利用Xpath提取。div[position()<=3]: 获取当前div前3标签
        for i in data_list:
            if i.xpath('td[1]') and i.xpath('td[4]'):  # 去空行: 用if条件判断筛选两个皆满足才能进入下一步
                ip_data = i.xpath('td[1]/text()')[0]  # IP
                ip_type = i.xpath('td[4]/text()')[0].lower()  # 类型lower变成小写
                ip_prot = i.xpath('td[2]/text()')[0]  # 端口
                proxies = {
                    ip_type: ip_type + '://' + str(ip_data) + ":" + str(ip_prot)
                }
                check_proxy_ip(proxies)  # 判断代理ip和端口能用否   def check_proxy_ip(url,proxies)

# 5.检测ip可用
def check_proxy_ip(proxies):
    import requests
    url = "http://www.baidu.com/"  # 检测地址: 百度
    print("正在检测: "+proxies['http'])
    try:  # 捕抓错误
        response = requests.get(url, headers=随机头部(), proxies=proxies, timeout=2)  # proxies: 代理ip 、timeout: 控制时间
    except:  # 如果错误那么就执行
        return print("不可用")
    else:  # 不然就执行
        print("可用")
        保存txt(proxies)
    return None

# 6.使用ip代理
def read_id():
    proxirs = [
        {'http': 'http://47.98.251.15:8118'},
        {'http': 'http://122.51.231.113:8080'},
        {'http': 'http://112.111.77.75:9999'},
        {'http': 'http://101.231.104.82:80'},
    ]
    return proxirs

# 7.定义信息提取器
def 提取器(base_url):
    import requests
    import random
    import lxml.html
    reponse = requests.post(url=base_url, headers=随机头部(), proxies=random.choice(read_id()), cookies=会话框(), timeout=5)
    print(reponse.text)
    # selector = lxml.html.fromstring(reponse)  # 将网页源代码打包
    # print(selector)
    # s =selector.xpath('//*[@id="g-topbar"]/div[1]/div/ul/li[2]/span/a/text()')
    # print(s)
    # json解析(reponse)  # xhr
    return reponse

# 8.定义json解析
def json解析(reponse):
    jobs_data = reponse.json()  # 解析
    jobs = jobs_data['content']['data']['page']['result']  # 获取json下的东西，成为列表
    return 获取数据(jobs)
# 9.遍历数据
def 获取数据(jobs):
    # 遍历获取: 年限要求、学历要求、职位描述、城市信息、公司名称、发布时间、职位名称、工资信息
    for job in jobs:
        job_city = job['city']  #城市
        job_companyFullName = job['companyFullName']  #公司名
        job_createTime = job['createTime']  #发布时长
        job_positionName = job['positionName']  #职位
        job_salary = job['salary'] #月薪
        positionId = job['positionId']  #职位号码
        job_item = [job_city, job_companyFullName, job_createTime, job_positionName, job_salary, positionId]  # 将数据装入列表
        保存csv(job_item)  # 传参
    return None

# 10.多线程
def 线程(house_url):
    from multiprocessing.dummy import Pool as pl  # 线程库
    import time
    pool = pl(4)  # 线程初始化开启4个cpu工作(这里理解一个cpu执行多个任务)
    time.sleep(2)
    pool.map(ip池, house_url)  # 执行spider
    pool.close()  # 关闭线程
    pool.join()
    return None

# 11.txt保存
def 保存txt(data_list):
    doc = open('ip_data.txt', 'a')  # 打开地址: a追加模式
    print("正在保存"+str(data_list))  # 提示
    print(data_list, file=doc)  # 打印保存
    doc.close()  # 关闭释放资源

# 12.csv保存
def 保存csv(data_list):
    import csv
    with open('lwc137_data.csv', 'a', encoding='utf-8-sig', newline='') as csvfile:  # 打开(‘文件.csv’,’ 追加模式’,’语言’,’去空行’)  另命 名：
        wriiter = csv.writer(csvfile)  # 传入
        wriiter.writerow(data_list)  # 根据参数写入定义好的文件
    return print("正在保存"+str(data_list))

# 13.图片保存
def image_saver(url, apartment):
    import requests
    img = requests.get(url, headers=随机头部())
    with open('D:99977python课程学习数据爬虫图片{}.jpg'.format(apartment), 'wb') as f:
        f.write(img.content)
    return None

# 执行入口
if __name__ == '__main__':
    # 1.大数据职位
    # url = 'https://m.lagou.com/search.json?'
    # city = '全国'
    # positionName = '大数据'
    # for pageNo in range(1, 10, 1):
    #     base_url = url + 'city=' + city + '&positionName=' + positionName + '&pageNo=' + str(pageNo) + '&pageSize=15'
        # 提取器(base_url)
    # 2.获取k快代理的可用ip放至txt文件
    # ip池(['https://www.kuaidaili.com/free/inha/' + str(x) + "/" for x in range(1, 20, 1)])  # 循环19页url列表->调用线程&ip池
    # 3.读取可用ip
    # read_id()
    提取器('https://music.163.com/#/discover/toplist')