Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

Springboot+JPA下实现简易爬虫--爬取豆瓣电视剧数据

---

　　前言：今天听到产品那边讨论一些需求，好像其中一点是用户要求我们爬虫，在网页上抓取一些数据然后存到我们公司数据库中，众所周知，爬虫的实现对于python语言可是专家，而对于我们使用的Java语言，我也不确定可不可以，趁着无事，上网参考了下资料，自己也写了些demo，所幸爬取数据成功了，由于我使用的基础demo项目是自己搭建的springboot+jpa的项目，因此也会在这个基础上进行爬虫的实现，文章会贴出具体的步骤以及重要的代码，至于项目的搭建就不介绍了，我的完整代码会同步至gitHub，大家可以参考使用，当然也可以使用自己的springboot项目。

gitHub地址：https://github.com/Slience-zae/mail-demo.git

1.材料准备

1.1首先打开豆瓣的网页，同时F12打开控制台

 

 1.2 在控制台中找到接口url，请求头信息，以及相应数据格式和字段

 

 

 

 

 

 在网页上准备的材料这些就可以了，接下来，该动手撰写代码了。

2.代码实现步骤

2.1 数据库创建表格

CREATE TABLE `subjects` (
  `id` varchar(255) NOT NULL COMMENT 'id',
  `title` varchar(255) DEFAULT NULL COMMENT '标题',
  `rate` decimal(10,2) DEFAULT NULL COMMENT '豆瓣评分',
  `url` varchar(255) DEFAULT NULL COMMENT '观影地址',
  `playable` tinyint(4) DEFAULT NULL COMMENT '是否可以观看：0是 1否',
  `cover` varchar(255) DEFAULT NULL COMMENT '封面图片地址',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

通过相应数据可以得知共有九个字段，但是我们主要保存的是数据主要信息，其中cover_x,cover_y,is_new对于我们来说没有什么意义，可以不保存到数据库，因此略过。

2.2 hibernate逆向生成实体

选中右键点击，选择Generate persistence Mapping，再选择By Database Schema，选中数据库的表，再选择生成实体的包位置，最后点击ok就能生成到指定位置了，生成后我们再加以修改一下实体，大体是这个样子。

import lombok.Data;
import javax.persistence.*;
import java.math.BigDecimal;
@Data
@Entity
@Table(name = "subjects")
public class Subjects {
    @Id
    private String id;//id
    private String title;//标题
    private BigDecimal rate;//豆瓣评分
    private String url;//观影地址
    private Boolean playable;//是否能够观看
    private String cover;//封面图片URL
    @Transient
    private Integer cover_x;
    @Transient
    private Integer cover_y;
    @Transient
    private Boolean is_new;
}

在此说明一下，之所以将cover_x,cover_y,is_new三个字段也添加进实体了，是为了防止接下来json数组转化List<Subjects>时发生异常，我已经在这三个字段上加了@Transient注解，因此三个字段不会映射数据库。

2.3 编写向指定网址抓取json数据的工具类

import org.springframework.boot.configurationprocessor.json.JSONObject;
import org.springframework.stereotype.Component;
import java.io.ByteArrayOutputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
@Component
public class GetJson {
    public JSONObject getHttpJson(String url){
        try {
            URL realUrl = new URL(url);
            HttpURLConnection connection = (HttpURLConnection) realUrl.openConnection();
            //设置HTTP的请求头(参考材料准备截图的请求头信息)
            connection.setRequestProperty("Accept", "*/*");//设置浏览器可以接收的媒体类型
            connection.setRequestProperty("Connection", "keep-alive");//网页打开，建立连接
            connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3928.4 Safari/537.36");//客户端使用的操作系统和浏览器的名称和版本
            // 建立实际的连接
            connection.connect();
            //请求成功
            if (connection.getResponseCode() == 200) {
                InputStream is = connection.getInputStream();
                //创建字节数组输出流对象
                ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
                //10MB的缓存
                byte[] buffer = new byte[10485760];
                int len = 0;
                while ((len = is.read(buffer))!= -1) {
                    byteArrayOutputStream.write(buffer, 0, len);
                }
                String jsonString = byteArrayOutputStream.toString();
                byteArrayOutputStream.close();
                is.close();
                //转换成json数据返回
                return new JSONObject(jsonString);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
}

注意一点，设置连接对象的请求头信息的时候，要将我们在豆瓣上拿到的那几个参数设置成一样的，防止抓取数据失败，具体那几个参数是什么，已经在代码注释上加以说明了。

2.4 完整业务代码糅合实现

(1).在application.properties配置文件中加入以下代码

#豆瓣网址
douban_url= https://movie.douban.com/j/search_subjects

(2) dao层加入类

import com.maven.maildemo.entity.Subjects;
import org.springframework.data.jpa.repository.JpaSpecificationExecutor;
import org.springframework.data.repository.CrudRepository;

public interface SubjectsDao extends CrudRepository<Subjects, String>, JpaSpecificationExecutor<Subjects> {

}

(3) service，serviceImpl，controller层代码

import com.maven.maildemo.entity.Subjects;
import java.util.List;

public interface SubjectsService {
    /**
     * 在豆瓣网页上抓取电视剧信息保存并返回
     * @author zae
     * @param pageNumber 页码
     */
    List<Subjects> getAndSaveSubjectsList(Integer pageNumber) throws Exception;
}

 

import com.alibaba.fastjson.JSON;
import com.maven.maildemo.dao.SubjectsDao;
import com.maven.maildemo.entity.Subjects;
import com.maven.maildemo.service.SubjectsService;
import com.maven.maildemo.utils.GetJson;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.configurationprocessor.json.JSONArray;
import org.springframework.boot.configurationprocessor.json.JSONObject;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import java.util.ArrayList;
import java.util.List;

@Slf4j
@Service
@Transactional
public class SubjectsServiceImpl implements SubjectsService {

    @Value("${douban_url}")
    private String doubanUrl;

    @Autowired
    private GetJson getJson;

    private final String DOUBAN_PARM = "?type=tv&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=";

    @Autowired
    private SubjectsDao subjectsDao;

    @Override
    public List<Subjects> getAndSaveSubjectsList(Integer pageNumber) throws Exception {
        if(pageNumber>=0 && pageNumber <= 10000){
            String address = doubanUrl+DOUBAN_PARM+pageNumber;
            //获取json对象数据
            JSONObject httpJson = getJson.getHttpJson(address);
            if(httpJson != null){
                //取出json数据数组
                JSONArray subjectsArray = httpJson.getJSONArray("subjects");
                    if(subjectsArray!=null){
                        //将json数组转化为List
                        List<Subjects> subjectsList = JSON.parseArray(subjectsArray.toString(),Subjects.class);
                        for(Subjects subjects:subjectsList){
                            //爬出数据后，保存在数据库中
                            subjectsDao.save(subjects);
                        }
                        return subjectsList;
                    }else{
                        return new ArrayList<>();
                    }
                }else{
                    return new ArrayList<>();
                }
        }
        return new ArrayList<>();
    }
}

 

import com.alibaba.fastjson.JSON;
import com.maven.maildemo.entity.Subjects;
import com.maven.maildemo.service.SubjectsService;
import io.swagger.annotations.Api;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;

@RestController
@RequestMapping("subjects")
@Api(description = "豆瓣")
public class SubjectsController {
    @Autowired
    private SubjectsService subjectsService;

    /**
     * 在豆瓣网页上抓取电视剧信息保存并返回
     * @param pageNumber 页码
     * @author zae
     * @return
     */
    @GetMapping(value = "/getAndSaveSubjectsList")
    String getAndSaveSubjectsList(@RequestParam Integer pageNumber){
        try {
            List<Subjects> subjectsList = subjectsService.getAndSaveSubjectsList(pageNumber);
            return subjectsList==null?null: JSON.toJSONString(subjectsList);
        } catch (Exception e) {
           return "爬取数据信息发生异常"+e.getMessage();
        }
    }
}

业务代码没啥复杂的，基本上都加注释了，看一下就好了。

3.测试

启动项目，打开swaager，找到刚刚写的接口，输入参数点击进行测试。

 

 此时不出意外应该是执行成功了，打开数据库，看一下库里有没有我们爬下来的数据。

 

 发现库里有值，说明我们已经成功的将数据爬下来了。不仅仅豆瓣如此，其他网页数据也是类似的实现。

本人java爬虫学习借鉴博客:https://blog.csdn.net/qwe86314/article/details/91450098  博主是使用的mybatis结合实现，而我的是结合springboot+jpa的项目使用的。

如有问题，多多评论指教，文章编写不易，期待您的推荐和赞，