根据前两篇的博文：
已经可以得到了我们需要的html文件，现在需要处理得到的文件获取到我们需要的采集的数据。
对于html文档的解析，没有像XML那样的解析类，因为HTML文档有很多不成对的标签，很不严格。这个时候就需要采用其他的一些辅助类了，simplehtmldom是一个类似于JQuery方式操作HTML文档的解析类。可以很方便的得到想要的数据，可惜速度慢。这里不是我们这里讨论的重点，我主要使用正则来匹配我所需要的采集的数据，可以很快速的得到我需要采集的信息。
考虑到get_html可以判断返回的数据,但是get_htmls没有办法判断，为了方便调式和调用写了如下两个函数：
1 function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){ 2 if(!$multi){ 3 if(!preg_match($pattern,$html,$matches,$flags,$offset)){ 4 echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n"; 5 return false; 6 } 7 }else{ 8 if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){ 9 echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n"; 10 return false; 11 } 12 } 13 return $matches; 14 } 15 function get_preg_err_msg(){ 16 $error_code = preg_last_error(); 17 switch($error_code){ 18 case PREG_NO_ERROR : 19 $err_msg = 'PREG_NO_ERROR'; 20 break; 21 case PREG_INTERNAL_ERROR: 22 $err_msg = 'PREG_INTERNAL_ERROR'; 23 break; 24 case PREG_BACKTRACK_LIMIT_ERROR: 25 $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR'; 26 break; 27 case PREG_RECURSION_LIMIT_ERROR: 28 $err_msg = 'PREG_RECURSION_LIMIT_ERROR'; 29 break; 30 case PREG_BAD_UTF8_ERROR: 31 $err_msg = 'PREG_BAD_UTF8_ERROR'; 32 break; 33 case PREG_BAD_UTF8_OFFSET_ERROR: 34 $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR'; 35 break; 36 default: 37 return '未知错误!'; 38 } 39 return $err_msg.': '.$error_code; 40 }
可以这样调用：
1 $url = 'http://www.baidu.com'; 2 $html = get_html($url); 3 $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true); 4 if($matches){ 5 var_dump($matches); 6 }
或者这样调用：
1 $urls = array('http://www.baidu.com','http://www.hao123.com'); 2 $htmls = get_htmls($urls); 3 foreach($htmls as $html){ 4 $matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true); 5 if($matches){ 6 var_dump($matches); 7 } 8 }
就可以得到所需的信息，无论单页面采集还是多页面采集，最终PHP还是只能处理一个页面，由于使用get_matches了，可以对返回的值进行判断真假，得到正确的数据，由于使用正则的时候遇到了超过正则回溯的问题，增加get_preg_err_msg来提示正则信息。
由于采集数据的时候，经常是采集列表页，根据列表页得到的内容页链接再采集内容页，或者更多的层次，那么循环嵌套会很多，对于代码的控制会感觉力不从心。那我们是否可以把采集列表页的代码和采集内容页的代码，或者更多的层次的采集代码分离开，甚至循环都简化呢？
留到最后两篇来写吧。