Python爬取链家二手房信息

1、爬取链家二手房信息，存入数据库（MySQL）数据来源：链家

2、数据库表结构

3、代码

'''使用面向对象的方式，搭建项目框架'''
import requests
from bs4 import BeautifulSoup
import pymysql
class LianJiaSpider():
    mydb = pymysql.connect("localhost", "root", "123456", "pythontest", charset='utf8')
    mycursor = mydb.cursor()
    #初始化
    def __init__(self):
        self.url='https://bj.lianjia.com/chengjiao/pg{0}/'#初始化请求的url
        #将其伪装成浏览器，对付反爬的
        self.headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

    #发送请求的方法
    def send_request(self,url):
        resp=requests.get(url,headers=self.headers)
        if resp.status_code==200:
            return resp
    #解析html获取有用的数据
    def parse_content(self,resp):
        html=resp.text
        bs=BeautifulSoup(html,'html.parser')#第一个参数是要解析的内容，第二个参数是解析器
        #查找自己想要的内容
        ul=bs.find('ul',class_='listContent')
        #在劜中获取所有的li
        li_list=ul.find_all('li')
        #遍历
        lst=[]
        for item in li_list:
            title=item.find('div',class_='title').text#标题
            house_info=item.find('div',class_='houseInfo').text#房屋描述
            deal_date=item.find('div',class_='dealData')#成交的日期
            total_price=item.find('div',class_='totalPrice').text#总价
            position_info=item.find('div',class_='positionInfo').text#楼层信息
            unit_price=item.find('div',class_='unitPrice').text#单价
            span_list = item.find_all('span')  # 获取挂牌价和成交周期
            agent_name = item.find('a', class_='agent_name').text  # 销售
            lst.append((title,house_info,deal_date,total_price,position_info,unit_price,span_list[0].text,span_list[1].text,agent_name))
        #数据解析完毕，需要存储到数据库
        self.write_mysql(lst)

    def write_mysql(self,lst):
        sql_cixian = "INSERT INTO ershoufang values (0,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        self.mycursor.executemany(sql_cixian, lst)
        self.mydb.commit()
        print('添加成功')
        self.mydb.close()
    #写入数据库
    def write_mysal(self):
        pass
    #启动爬虫程序
    def start(self):
        for i in range(1,2):
            full_url=self.url.format(i)
            resp=self.send_request(full_url)#发送请求
            if resp:
                self.parse_content(resp)#传入数据



if __name__=='__main__':
    #创建类的对象
    lianjia=LianJiaSpider()
    lianjia.start()

4、结果