爬下某团的数据

冬天来了，想着爬下某团的烤肉，代码如下：

"""
    爬取某团
"""
import csv
import random

import requests
import pprint
import os
import time

keyword = input('请输入要搜索的美食（比如烤肉）：')

# 以关键词创建文件
f = open(f'某团{keyword}烤肉.csv', mode='a', encoding='utf-8-sig', newline='')
csvWriter = csv.DictWriter(f, fieldnames=[
    '店铺ID',
    '店铺名字',
    '店铺商圈',
    '店铺评分',
    '店铺评论',
    '烤肉类型',
    '人均价格',
    'x团价格',
    # '门市价',
    '促销信息',
    '详情页',
])
csvWriter.writeheader() #  写入头

# 多页爬取
for page in range(0, 321, 32): # 爬十页
    print(f'======正在爬取第前{page}个的数据======')
    time.sleep(random.randint(2, 5))
    # 美团在第一页的时候就是搜索页，在第二页第三页的时候，就有json数据，也就是下面的url
    url = 'https://apimobile.xxx.com/group/v4/poi/pcsearch/110'

    # 请求参数
    data = {
        "uuid": "xxx",
        "userid": "xxx",
        "limit": 32,
        "offset": page,
        "cateId": -1,
        "q": keyword,
        "token": "自己的token",
    }
    # 请求头
    headers = {
        'Referer': 'https://qxxx.xx.com/', # 如果出现403的话，就加个来源
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',
    }

    response = requests.get(url=url, headers=headers, params=data) # 带参数请求网页

    # pprint.pprint(response.json()) # 至此已经获取到了json数据
    # 提取数据
    results = response.json()['data']['searchResult'] # 想要的数据，是个列表

    for data in results:
        # pprint.pprint(data)
        detailUrl = 'https://www.xx.com/meishi/' + str(data['id'])
        shopId = data['id'] # 店铺id
        title = data['title'] # 店铺名字
        areaname = data['areaname'] # 店铺商圈
        reviewScore = data['avgscore'] # 店铺评分
        reviewCount = data['comments'] # 店铺累积评论数量
        style = data['backCateName'] # 烤肉类型
        averagePrice = data['avgprice'] # 人均价格
        price = data['lowestprice'] # 美团价格
        # menshijia = data['deals'][0]['value'] # 门市价
        # if menshijia:
        #     menshijia = menshijia
        # else:
        #     menshijia = '未知！'
        promotion = data['deals'][0]['title'] # 促销信息
        detailPage = detailUrl # 店铺详情页

        # 创建字典写入到csv文档
        dit = {
            '店铺ID': shopId,
            '店铺名字': title,
            '店铺商圈': areaname,
            '店铺评分': reviewScore,
            '店铺评论': reviewCount,
            '烤肉类型': style,
            '人均价格': averagePrice,
            'x团价格': price,
            # '门市价': menshijia,
            '促销信息': promotion,
            '详情页': detailPage,
        }
        print(dit)
        csvWriter.writerow(dit)

# 很有可能就会被403，还是搭个代理池爬某团比较靠谱。