jsoup爬虫技术+druid连接池

 

介绍：

 优点：

　　1、与java形成良好的支持

　　2、jsoup技术类似于

同类型产品：

　　1、入门 级：八爪鱼提取工具

　　2、jsoup：java原生提供的爬取工具

入门案例：

　　爬虫原理：模拟http请求，然后从目标网站或整个或者json数据/xml数据

　　爬虫步骤：

　　　　1、定位目标网站url

　　　　2、模拟http请求爬取数据

　　　　3、分析处理页面信息

　　　　4、将数据封装特定的格式后入库

 获取静态数据

    @Test
    public void test01() throws IOException{
        String url = "http://www.it211.com.cn/web/index_new.html?tedu";
        Document dom = Jsoup.connect(url).get();
        Element element1 = dom.select(".b_search").get(0);
        Element element2 = element1.select("div h2").get(0);
        String result = element2.text();
        System.out.println(result);
    }

获取动态数据

　　有些网站出于安全性和交互性的考虑，采用了动态的数据获取的方式，进行数据加载！

　　1、通过浏览器的开发者工具分析网站的js请求，根据js的返回值获取需要的数据

@Test
    public void test03() throws IOException{
        String url = "http://www.it211.com.cn/boutiqueSeries/findSeriesCourseByCourseId?courseId=1000";
        String result = Jsoup.connect(url).ignoreContentType(true).execute().body();
        //通过objectMapper解析json串
        JsonNode node = objectMapper.readTree(result);
        String data = node.get("obj").get("bookNum").asText();
        System.out.println(data);
    }

获得json数据并进行处理

public void insert(String url, int status) {
        try {
            //通过url获取json数据，在截取前需要对获取的数据进行分析
            String data = Jsoup.connect(url).ignoreContentType(true).execute().body();
            StudentBookListVO studentBookListVO = objectMapper.readValue(data, StudentBookListVO.class);
            List<StudentBook> lists = studentBookListVO.getBookList();
            for(StudentBook studentBook : lists){
                List<StudentSection> sections = studentBook.getSections();
                if(sections!=null){
                    for (StudentSection studentSection : sections) {
                        studentSectionMapper.insert(studentSection);
                    }
                }                
                studentBook.setBookImg("http://www.it211.com.cn/web/library/tu_new/"+studentBook.getBookImg());
                studentBook.setStatus(status);
                studentBookMapper.insert(studentBook);
            }
        } catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

druid连接池及监控

说明:使用阿里的Druid数据源,是当前国内性能最好的数据库链接池.并且提供了数据的监控功能.

添加依赖：

<dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>druid</artifactId>
      <version>1.0.29</version>
</dependency>

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns="http://java.sun.com/xml/ns/javaee"
    xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
    id="jt-manage" version="2.5">
    <display-name>jt-jsoup</display-name>

    <!-- web应用状态监控过滤器 -->
    <filter>
        <filter-name>DruidWebStatFilter</filter-name>
        <filter-class>com.alibaba.druid.support.http.WebStatFilter</filter-class>
        <init-param>
            <param-name>exclusions</param-name>
            <param-value>*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*</param-value>
        </init-param>
    </filter>
    
    <filter-mapping>
        <filter-name>DruidWebStatFilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>
    
    <!-- Druid监控视图Servlet -->
    <servlet>
        <servlet-name>DruidStatView</servlet-name>
        <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
        <!-- 可选项 登陆的用户名和密码 -->
        <init-param>
            <param-name>loginUsername</param-name>
            <param-value>druid</param-value>
        </init-param>
        <init-param>
            <param-name>loginPassword</param-name>
            <param-value>druid</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>DruidStatView</servlet-name>
        <url-pattern>/druid/*</url-pattern>
    </servlet-mapping>
    
    <!--定义前端控制器  -->
    <servlet>
        <servlet-name>springmvc</servlet-name>
        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
        <init-param>
            <param-name>contextConfigLocation</param-name>
            <param-value>classpath:/spring/applicationContext*.xml</param-value>
        </init-param>
    </servlet>
    
    <!--/表示拦截所有请求和静态资源 不拦截动态资源 -->
    <servlet-mapping>
        <servlet-name>springmvc</servlet-name>
        <url-pattern>/</url-pattern>
    </servlet-mapping>
    
</web-app>

JDBC连接配置

jdbc.driverClassName=com.mysql.jdbc.Driver

jdbc.url=jdbc:mysql://127.0.0.1:3306/jtdb?useUnicode=true&characterEncoding=UTF-8

jdbc.username=root
jdbc.password=root
#初始化连接数量
jdbc.initialSize=10
#最大并发连接数
jdbc.maxActive=100
#已经不再使用，配置了也没效果
jdbc.maxIdle=10
#最小空闲连接数
jdbc.minIdle=5
#获取连接等待超时的时间
jdbc.maxWait=5000

#用来检测连接是否有效的sql，要求是一个查询语句
jdbc.validationQuery=SELECT * FROM USER
#单位：秒，检测连接是否有效的超时时间。底层调用jdbc Statement对象的void setQueryTimeout(int seconds)方法
jdbc.validationQueryTimeout=3
#申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。
jdbc.testWhileIdle=true
#申请连接时执行validationQuery检测连接是否有效，配置为true会降低性能
jdbc.testOnBorrow=false
#归还连接时执行validationQuery检测连接是否有效，配置为true会降低性能
jdbc.testOnReturn=false

#连接保活
#打开KeepAlive之后的效果：
#1、初始化连接池时会填充到minIdle数量。
#2、连接池中的minIdle数量以内的连接，空闲时间超过minEvictableIdleTimeMillis，则会执行keepAlive操作。
#3、当网络断开等原因产生的由ExceptionSorter检测出来的死连接被清除后，自动补充连接到minIdle数量。
jdbc.keepAlive=true

#对于建立时间超过removeAbandonedTimeout的连接强制关闭（连接泄露自动检测）
jdbc.removeAbandoned=true
#连接建立多长时间就需要被强制关闭（1800秒，也就是30分钟）（连接长时间没有使用，被认为发生泄露时长）
jdbc.removeAbandonedTimeout=1800

#配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
#jdbc.timeBetweenEvictionRunsMillis=60000
jdbc.timeBetweenEvictionRunsMillis=60000
#连接保持空闲而不被驱逐的最长时间（Destory线程中如果检测到当前连接的最后活跃时间和当前时间的差值大于minEvictableIdleTimeMillis，则关闭当前连接）。单位是毫秒
#jdbc.minEvictableIdleTimeMillis=1800000
#jdbc.minEvictableIdleTimeMillis=300000
jdbc.minEvictableIdleTimeMillis=60000

#是否打开PreparedStatementCache，并且指定每个连接上PSCache的大小
jdbc.poolPreparedStatements=true
#指定每个连接上PSCache的大小
jdbc.maxPoolPreparedStatementPerConnectionSize=500

#关闭abanded连接时输出错误日志
jdbc.logAbandoned=true
#属性类型是字符串，通过别名的方式配置扩展插件，常用的插件有： 常用的插件有： 监控统计用的filter:stat     日志用的filter:log4j   防御sql注入的filter:wall
jdbc.filters=stat,wall

springMVC配置

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:mvc="http://www.springframework.org/schema/mvc"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
        http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-4.0.xsd
        http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">


    <!--开启mvc注解  -->
    <mvc:annotation-driven/>
    
    <!--开启包扫描  -->
    <context:component-scan base-package="com.tedu.druid.controller"/>
    
    <!--定义视图解析器  -->
    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver">
        <!--定义前缀和后缀  -->
        <property name="prefix" value="/WEB-INF/"/>
        <property name="suffix" value=".jsp"/>
    </bean>
    
    <!--定义文件上传视图解析器  规定id的值必须为multipartResolver-->
    <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
        <!--定义文件上传最大值 10M   1024*1024*10 =10485760 -->
        <property name="maxUploadSize" value="10485760"/>
        
        <!--定义文件上传的编码  -->
        <property name="defaultEncoding" value="UTF-8"/>
    </bean>
    
    
    <!--放行静态资源文件  -->
    <mvc:default-servlet-handler/>    
    
</beans>

spring配置

<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" 
    xmlns:tx="http://www.springframework.org/schema/tx"
    xmlns:util="http://www.springframework.org/schema/util"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
    http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd
    http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd 
    http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
    http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.0.xsd">
                        
    <!--开启包扫描  -->
    <context:component-scan base-package="com.tedu.druid.service"/>  

    <!--引入多个配置文件-->
    <bean id="propertyConfigurer"  
        class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="locations">
            <list>
                <value>classpath:jdbc.properties</value>
            </list>
        </property>  
    </bean>  

    <!--druid数据库连接  -->
     <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource">
        <property name="driverClassName" value="${jdbc.driverClassName}" />
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="initialSize" value="${jdbc.initialSize}" />
        <property name="maxActive" value="${jdbc.maxActive}" />
        <property name="minIdle" value="${jdbc.minIdle}" />
        <property name="maxWait" value="${jdbc.maxWait}" />
        <property name="validationQuery" value="${jdbc.validationQuery}"/>
        <property name="validationQueryTimeout" value="${jdbc.validationQueryTimeout}"/> 
        <property name="keepAlive" value="${jdbc.keepAlive}" />
        <property name="testOnBorrow" value="${jdbc.testOnBorrow}" />
        <property name="testOnReturn" value="${jdbc.testOnReturn}" />
        <property name="testWhileIdle" value="${jdbc.testWhileIdle}" />
        <property name="removeAbandoned" value="${jdbc.removeAbandoned}" />
        <property name="removeAbandonedTimeout" value="${jdbc.removeAbandonedTimeout}" />
        <property name="timeBetweenEvictionRunsMillis" value="${jdbc.timeBetweenEvictionRunsMillis}" />
        <property name="minEvictableIdleTimeMillis" value="${jdbc.minEvictableIdleTimeMillis}" />

        <!-- 关闭abanded连接时输出错误日志 -->
        <property name="logAbandoned" value="${jdbc.logAbandoned}" />
        <!-- 监控数据库 -->
        <property name="filters" value="${jdbc.filters}" />
    </bean>

    <!-- 配置druid监控spring jdbc -->
    <bean id="druid-stat-interceptor" class="com.alibaba.druid.support.spring.stat.DruidStatInterceptor"></bean>
    <bean id="druid-stat-pointcut" class="org.springframework.aop.support.JdkRegexpMethodPointcut" scope="prototype">
        <property name="patterns">
            <list>
                <!-- 针对项目中的Service层调用进行监控 -->
                <value>com.tedu.druid.service.*</value>
            </list>
        </property>
    </bean>
    
    <aop:config>
        <aop:advisor advice-ref="druid-stat-interceptor" pointcut-ref="druid-stat-pointcut" />
    </aop:config>
    
    
    <!-- spring和MyBatis完美整合，不需要mybatis的配置映射文件 -->  
    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">  
        <property name="dataSource" ref="dataSource" />
        <!-- 开启别名包  -->
        <property name="typeAliasesPackage" value="com.tedu.druid.pojo"></property>
        <property name="configLocation" value="classpath:mybatis/mybatis-config.xml"></property>  
        
        <!-- 自动扫描mapping.xml文件-->  
        <property name="mapperLocations" value="classpath:mybatis/mappers/*.xml"></property> 
    </bean>  

    <!-- 配置扫描Dao接口包，动态实现Dao接口，注入到spring容器中 -->  
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">  
        <property name="basePackage" value="com.tedu.druid.mapper" />  
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"></property>  
    </bean>  

    <!-- (事务管理)transaction manager -->  
    <bean id="transactionManager"  
        class="org.springframework.jdbc.datasource.DataSourceTransactionManager">  
        <property name="dataSource" ref="dataSource" />  
    </bean>
    <!-- 第一种方式: 注解方式配置事物 -->
    <!-- <tx:annotation-driven transaction-manager="transactionManager" /> -->

    <!-- 第二种方式: 拦截器方式配置事物 -->

    <tx:advice id="transactionAdvice" transaction-manager="transactionManager">
        <tx:attributes>
            <tx:method name="save*" propagation="REQUIRED" rollback-for="Exception" />
            <tx:method name="update*" propagation="REQUIRED" rollback-for="Exception" />
            <tx:method name="delete*" propagation="REQUIRED" rollback-for="Exception"/>
            <tx:method name="insert*" propagation="REQUIRED" rollback-for="Exception"/>
            <tx:method name="get*" propagation="SUPPORTS" read-only="true"/>
            <tx:method name="select*" propagation="SUPPORTS" read-only="true"/>
            <tx:method name="*" propagation="SUPPORTS" read-only="true"/>
        </tx:attributes>
    </tx:advice>

    <!-- Spring AOP config 解释一下 (* com.evan.crm.service.*.*(..)) 中几个通配符的含义： -->
    <!-- 第一个 * —— 通配 任意返回值类型 -->
    <!-- 第二个 * —— 通配 包com.evan.crm.service下的任意class -->
    <!-- 第三个 * —— 通配包com.evan.crm.service下的任意class的任意方法 -->
    <!-- 第四个 .. —— 通配 方法可以有0个或多个参数 -->
    <!-- 事务控制位置，一般在业务层service -->

   <aop:config>
        <aop:pointcut id="transactionPointcut" expression="execution(* com.tedu.druid.service.*.*(..))" />
        
        <!-- 多个 expression="(execution(* com.weixin.web.service..*Impl.*(..)))or(execution(* org.weixin.service..*Impl.*(..)))" -->
        <aop:advisor pointcut-ref="transactionPointcut" advice-ref="transactionAdvice" />
    </aop:config>
</beans>

mybatis-config配置

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration
  PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
  "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>

    <settings>
        <!-- 开启驼峰自动映射 -->
        <setting name="mapUnderscoreToCamelCase" value="true" />
        <!-- 二级缓存的总开关，被redis替代 -->
        <setting name="cacheEnabled" value="false" />
    </settings>
    
    <plugins>
        <!-- 通用Mapper插件 -->
        <plugin interceptor="com.github.abel533.mapperhelper.MapperInterceptor">
            <!--主键自增回写方法,默认值MYSQL,详细说明请看文档 -->
            <property name="IDENTITY" value="MYSQL" />
            <!--通用Mapper接口，多个通用接口用逗号隔开 -->
            <property name="mappers" value="com.jt.common.mapper.SysMapper" />
        </plugin>
    </plugins>
</configuration>

访问地址：http://localhost:8097/druid/