该事例演示了如何在多线程中统计和分析数据；
首先建一个状态实体类CrawlStat：
package com.demo.collectingData; /** * 爬虫状态实体类 统计爬虫信息 * @author * */ public class CrawlStat { private int totalProcessedPages; //处理的页面总数 private long totalLinks; // 总链接数 private long totalTextSize; // 总文本长度 public int getTotalProcessedPages() { return totalProcessedPages; } public void setTotalProcessedPages(int totalProcessedPages) { this.totalProcessedPages = totalProcessedPages; } /** * 总处理页面数加1 */ public void incProcessedPages() { this.totalProcessedPages++; } public long getTotalLinks() { return totalLinks; } public void setTotalLinks(long totalLinks) { this.totalLinks = totalLinks; } public long getTotalTextSize() { return totalTextSize; } public void setTotalTextSize(long totalTextSize) { this.totalTextSize = totalTextSize; } /** * 总链接数加count个 * @param count */ public void incTotalLinks(int count) { this.totalLinks += count; } /** * 总文本长度加total个 * @param count */ public void incTotalTextSize(int count) { this.totalTextSize += count; } }
再建一个LocalDataCollectorCrawler类：
package com.demo.collectingData; import java.io.UnsupportedEncodingException; import java.util.Set; import java.util.regex.Pattern; import edu.uci.ics.crawler4j.crawler.Page; import edu.uci.ics.crawler4j.crawler.WebCrawler; import edu.uci.ics.crawler4j.parser.HtmlParseData; import edu.uci.ics.crawler4j.url.WebURL; /** * 该类演示了如何在多线程中统计和分析数据 * @author user * */ public class LocalDataCollectorCrawler extends WebCrawler { // 正则匹配后缀 private static final Pattern FILTERS = Pattern.compile( ".*(\.(css|js|bmp|gif|jpe?g|png|tiff?|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" + "|rm|smil|wmv|swf|wma|zip|rar|gz))$"); CrawlStat myCrawlStat; // 定义爬虫状态对象，用户统计和分析 /** * 构造方法 */ public LocalDataCollectorCrawler() { myCrawlStat = new CrawlStat(); // 实例化爬虫状态对象 } /** * 这个方法主要是决定哪些url我们需要抓取，返回true表示是我们需要的，返回false表示不是我们需要的Url * 第一个参数referringPage封装了当前爬取的页面信息 * 第二个参数url封装了当前爬取的页面url信息 */ @Override public boolean shouldVisit(Page referringPage, WebURL url) { String href = url.getURL().toLowerCase(); // 获取url小写 return !FILTERS.matcher(href).matches() && href.startsWith("http://www.xxx.com"); // 必须是www.xxx.com域名 } /** * 当我们爬到我们需要的页面，这个方法会被调用，我们可以尽情的处理这个页面 * page参数封装了所有页面信息 */ @Override public void visit(Page page) { System.out.println("正在爬取页面："+page.getWebURL().getURL()); myCrawlStat.incProcessedPages(); // 处理页面加1 if (page.getParseData() instanceof HtmlParseData) { // 假如是html数据 HtmlParseData parseData = (HtmlParseData) page.getParseData(); // 获取Html数据 Set<WebURL> links = parseData.getOutgoingUrls(); // 获取输出链接 myCrawlStat.incTotalLinks(links.size()); // 总链接加link.size个 try { myCrawlStat.incTotalTextSize(parseData.getText().getBytes("UTF-8").length); // 文本长度增加 } catch (UnsupportedEncodingException ignored) { // Do nothing } } // 每获取3个页面数据 我们处理下数据 if ((myCrawlStat.getTotalProcessedPages() % 3) == 0) { dumpMyData(); } } /** * 获取下爬虫状态 */ @Override public Object getMyLocalData() { return myCrawlStat; } /** * 当任务完成时调用 */ @Override public void onBeforeExit() { dumpMyData(); // 处理处理 } /** * 处理数据 */ public void dumpMyData() { int id = getMyId(); System.out.println("当前爬虫实例id:"+id); System.out.println("总处理页面："+myCrawlStat.getTotalProcessedPages()); System.out.println("总链接长度："+myCrawlStat.getTotalLinks()); System.out.println("总文本长度："+myCrawlStat.getTotalTextSize()); } }
最后建一个控制器LocalDataCollectorController：
package com.demo.collectingData; import java.util.List; import edu.uci.ics.crawler4j.crawler.CrawlConfig; import edu.uci.ics.crawler4j.crawler.CrawlController; import edu.uci.ics.crawler4j.fetcher.PageFetcher; import edu.uci.ics.crawler4j.robotstxt.RobotstxtConfig; import edu.uci.ics.crawler4j.robotstxt.RobotstxtServer; /** * 爬虫控制器 * @author user * */ public class LocalDataCollectorController { public static void main(String[] args) throws Exception { String rootFolder = "c:/crawl"; // 定义爬虫数据存储位置 int numberOfCrawlers = 2; // 定义7个爬虫，也就是7个线程 CrawlConfig config = new CrawlConfig(); // 定义爬虫配置 config.setCrawlStorageFolder(rootFolder); // 设置爬虫文件存储位置 config.setMaxPagesToFetch(10); // 设置最大页面获取数 config.setPolitenessDelay(1000); // 设置爬取策略 1秒爬一次 // 实例化爬虫控制器 PageFetcher pageFetcher = new PageFetcher(config); // 实例化页面获取器 RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); // 实例化爬虫机器人配置 比如可以设置 user-agent // 实例化爬虫机器人对目标服务器的配置，每个网站都有一个robots.txt文件 规定了该网站哪些页面可以爬，哪些页面禁止爬，该类是对robots.txt规范的实现 RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher); // 实例化爬虫控制器 CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer); controller.addSeed("http://www.xxx.com"); // 添加爬虫种子 // 启动爬虫，爬虫从此刻开始执行爬虫任务，根据以上配置 controller.start(LocalDataCollectorCrawler.class, numberOfCrawlers); List<Object> crawlersLocalData = controller.getCrawlersLocalData(); // 当多个线程爬虫完成任务时，获取爬虫本地数据 long totalLinks = 0; long totalTextSize = 0; int totalProcessedPages = 0; for (Object localData : crawlersLocalData) { CrawlStat stat = (CrawlStat) localData; totalLinks += stat.getTotalLinks(); totalTextSize += stat.getTotalTextSize(); totalProcessedPages += stat.getTotalProcessedPages(); } // 打印数据 System.out.println("统计数据："); System.out.println("总处理页面："+totalProcessedPages); System.out.println("总链接长度："+totalLinks); System.out.println("总文本长度："+totalTextSize); } }
打印结果：
正在爬取页面：http://www.xxx.com/ 正在爬取页面：http://www.xxx.com/share/2814499085634560.htm 正在爬取页面：http://www.xxx.com/share/2519215530527744.htm 正在爬取页面：http://www.xxx.com/share/2783070349888512.htm 当前爬虫实例id:2 总处理页面：3 总链接长度：672 总文本长度：22295 正在爬取页面：http://www.xxx.com/share/2769260213275648.htm 正在爬取页面：http://www.xxx.com/share/kredis-p1-s1.htm 正在爬取页面：http://www.xxx.com/share/kswing-p1-s1.htm 当前爬虫实例id:2 总处理页面：6 总链接长度：1299 总文本长度：46674 正在爬取页面：http://www.xxx.com/share/kcodehaus-p1-s1.htm 正在爬取页面：http://www.xxx.com/user/2176279510861824.htm 正在爬取页面：http://www.xxx.com/blog/2881413902666752.htm 当前爬虫实例id:2 总处理页面：9 总链接长度：1617 总文本长度：90618 当前爬虫实例id:1 总处理页面：1 总链接长度：326 总文本长度：10321 当前爬虫实例id:2 总处理页面：9 总链接长度：1617 总文本长度：90618 统计数据： 总处理页面：10 总链接长度：1943 总文本长度：100939