利用selenium爬取豆瓣电影Top250

这几天在学习selenium，顺便用selenium + python写了一个比较简陋的爬虫，现附上源码，有时间再补充补充：

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import os

class DouBan_Movies:
    
    def __init__(self):
        #初始化chromedriver
        self.driver = webdriver.Chrome()
        #调用函数进入豆瓣电影top250官网
        self.__enter_douban()
        #在当前目录下建一个文本文件用来写入电影信息
        self.fs = open(os.getcwd() + r"douban_top250.txt", "w+", encoding="utf-8")

    def __enter_douban(self):
        #打开百度首页
        self.driver.get("http://www.baidu.com")
        #窗口最大化
        self.driver.maximize_window()
        #百度首页输入框的元素表达式
        input_id = "kw"
        #设置显性等待，等待百度首页输出框的出现
        WebDriverWait(self.driver, 3, 0.3).until(EC.visibility_of_element_located((By.ID, input_id)))
        #定位百度输入框并输入豆瓣电影Top250
        self.driver.find_element_by_id(input_id).send_keys("豆瓣电影Top250")
        #定位百度一下按钮并点击
        self.driver.find_element_by_id("su").click()
        #第一条搜索结果的元素表达式
        top250_css = "div[id='1'] h3 a"
        #设置显性等待，等待第一条搜索结果的出现
        WebDriverWait(self.driver, 5, 0.3).until(EC.visibility_of_element_located((By.CSS_SELECTOR, top250_css)))
        #获得当前浏览器的所有窗口句柄
        windows = self.driver.window_handles
        #定位到第一条搜索结果并点击
        self.driver.find_element_by_css_selector(top250_css).click()
        #设置显性等待，等待新窗口的出现
        WebDriverWait(self.driver, 10, 0.3).until(EC.new_window_is_opened(windows))
        #获得当前浏览器的所有窗口句柄
        windows = self.driver.window_handles
        #切换到新的窗口
        self.driver.switch_to.window(windows[-1])

    def __get_datas(self):
        if self.page_num == 1:
            #得到标题
            title = self.driver.find_element_by_xpath("//div[@id='content']//h1").text
            #打印标题
            print(title)
            self.fs.write(title + "
")
        #获得当前页面电影信息的元素对象的列表，总共有25条
        movies_list = self.driver.find_elements_by_xpath("//ol//li")
        for element in movies_list:
            print(element.text + "
")
            self.fs.write(element.text + "
")

    def get_all_pages(self):
        self.page_num = 1
        while self.page_num < 26:
            self.__get_datas()
            print("-------------第{0}页-----------
".format(self.page_num))
            self.fs.write("-------------第{0}页-----------
".format(self.page_num))
            self.page_num += 1
        #关闭文件
        self.fs.close()

douban_movies = DouBan_Movies()
douban_movies.get_all_pages()

控制台输出

保存到文件