一、迟到的下期预告
自从上一篇文章发布到现在,大约差不多有3个月的样子,其实一直想把这个实战入门系列的教程写完,一个是为了支持DotnetSpider,二个是为了.Net 社区发展献出一份绵薄之力,这个开源项目作者一直都在更新,相对来说还是很不错的,上次教程的版本还是2.4.4,今天浏览了一下这个项目,最近一次更新是在3天前,已经更新到了2.5.0,而且项目star也已经超过1000了,还是挺受大家所喜爱的,也在这感谢作者们不断的努力。
之所以中间这么长一段时间没有好好写文章,是因为笔者为参加3月份PMP考试备考了,然后考完差不多就到4月份,到了4月份,项目催的急,所以一直拖到了现在才有一点空余时间,希望我的文章完成之后,会对大家有一定的帮助。
二、更新DotnetSpider库
刚刚提到DotnetSpider升级到了2.5.0,所以我们更新一下库,使用最新的版本,技术要与时俱进嘛,将下图中两个类库添加进去就行了。
三、分析汽车之家商品详情页面
3.1分析商品详情页数据
①上次我们发现,当点击参数配置的时候,页面会发送两个ajax请求,分别去获取车型的基本参数,和配置参数,返回的数据是JSON格式。
②通过Chrome的Network抓包可以发现,这两个请求有一个共同点,提交的参数都有data[specid]:28762,我猜测这应该是skuid,大家可以试着在浏览器直接打开这两个地址,直接就可以返回出车型的相关信息,所以问题的关键就是要解决如何获取skuid的问题,获取到了这些车型的数据那不就是手到擒来了。
3.2如何获取商品的sku
其实这个确实是让我很苦恼的一个问题,因为我们打开页面的时候页面的链接中并未包含skuid,[https://mall.autohome.com.cn/detail/284641-0-0.html],所以从URL中获取是不太现实的了,所以我用Element去页面中搜索这个skuid的值,结果发现两个地方有这个值,一个存在于HTML元素中,一个是存在js全局变量中,相比较而言,我认为HTML元素中的相对来说会比较好处理一点,直接获取元素的属性就行了。
四、开发
4.1准备Processor
这次为什么要单独的写一段准备Processor呢,因为此次准备了三个Processor,分别用来处理3个数据,第一个用于获取skuid,第二个用于获取车型基本参数,第三个用于获取车型配置,细心的小伙伴们肯定会发现,这次我们每个Processor都使用了构造函数,里面可以清晰的看到有我们熟悉的正则表达式(PS正则表达式写的很烂,自己有更好的正则写法可以回复在评论里面,让我膜拜一下,嘻嘻),肯定会有人问为什么要这么写呢?
相比上次的教程,这次的抓取流程更为的复杂了,上次我们只是抓了一个列表页,一个接口完全可以搞定,此次我们的流程变成了,第一步,我们需要获取车型详情页的页面,从页面中找到skuid,第二部,将获取的skuid拼接好request放入爬虫的请求集合中,通过新构造的请求去获取数据,那么我们怎么知道哪个请求用哪个Processor进行处理呢,DotnetSpider提供了对url进行校验的进行判断,使用哪个Processor对数据进行处理。
private class GetSkuProcessor : BasePageProcessor //获取skuid { public GetSkuProcessor() { TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/detail/*[0-9]+-[0-9]+-[0-9]+.html$"); } protected override void Handle(Page page) { string skuid = string.Empty; skuid = page.Selectable.XPath(".//a[@class='carbox-compare_detail']/@link").GetValue(); page.AddResultItem("skuid", skuid); page.AddTargetRequest(@"https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v1/carprice/spec_paramsinglebyspecid.ashx&data[_appid]=mall&data[specid]=" + skuid); page.AddTargetRequest(@"https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v2/carprice/Config_GetListBySpecId.ashx&data[_appid]=mall&data[specid]=" + skuid); } } private class GetBasicInfoProcessor : BasePageProcessor //获取车型基本参数 { public GetBasicInfoProcessor() { TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v1/carprice/spec_paramsinglebyspecid.ashx*"); } protected override void Handle(Page page) { page.AddResultItem("BaseInfo", page.Content); } } private class GetExtInfoProcessor : BasePageProcessor //获取车型配置 { public GetExtInfoProcessor() { TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v2/carprice/Config_GetListBySpecId.ashx*"); } protected override void Handle(Page page) { page.AddResultItem("ExtInfo", page.Content); } }
4.2、创建Pipeline
Pipeline基本上变化不大,稍微改造了一下,so easy。
private class PrintSkuPipe : BasePipeline { public override void Process(IEnumerable<ResultItems> resultItems, ISpider spider) { foreach (var resultItem in resultItems) { if (resultItem.GetResultItem("skuid") != null) { Console.WriteLine(resultItem.Results["skuid"] as string); } if (resultItem.GetResultItem("BaseInfo") != null) { var t = JsonConvert.DeserializeObject<AutoCarParam>(resultItem.Results["BaseInfo"]); //Console.WriteLine(resultItem.Results["BaseInfo"]); } if (resultItem.GetResultItem("ExtInfo") != null) { var t = JsonConvert.DeserializeObject<AutoCarConfig>(resultItem.Results["ExtInfo"]); //Console.WriteLine(resultItem.Results["ExtInfo"]); } } } }
新增两个实体类AutoCarParam,AutoCarConfig,其实有重复的,子项可以再进行抽象一下,代码可以减少,还可以节省一点硬盘空间
public class AutoCarConfig { public string message { get; set; } public ConfigResult result { get; set; } public string returncode { get; set; } } public class ConfigResult { public string specid { get; set; } public List<configtypeitem> configtypeitems { get; set; } } public class configtypeitem { public string name { get; set; } public List<configitem> configitems { get; set; } } public class configitem { public string name { get; set; } public string value { get; set; } } public class AutoCarParam { public string message { get; set; } public ParamResult result { get; set; } public string returncode { get; set; } } public class ParamResult { public string specid { get; set; } public List<paramtypeitem> paramtypeitems { get; set; } } public class paramtypeitem { public string name { get; set; } public List<paramitem> paramitems { get;set;} } public class paramitem { public string name { get; set; } public string value { get; set; } }
4.3、构造爬虫
这一块变化也不是很大,变化的的地方看我的注释,因为我们需要有多个Processor,把这几个都添加进去就行。
var site = new Site { CycleRetryTimes = 1, SleepTime = 200, Headers = new Dictionary<string, string>() { { "Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8" }, { "Cache-Control","no-cache" }, { "Connection","keep-alive" }, { "Content-Type","application/x-www-form-urlencoded; charset=UTF-8" }, { "User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"} } }; List<Request> resList = new List<Request>(); Request res = new Request(); res.Url = "https://mall.autohome.com.cn/detail/284641-0-0.html"; res.Method = System.Net.Http.HttpMethod.Get; resList.Add(res); var spider = Spider.Create(site, new QueueDuplicateRemovedScheduler(), new GetSkuProcessor(),new GetBasicInfoProcessor(),new GetExtInfoProcessor()) //因为我们有多个Processor,所以都要添加进来 .AddStartRequests(resList.ToArray()) .AddPipeline(new PrintSkuPipe()); spider.ThreadNum = 1; spider.Run(); Console.Read();
五、执行结果
六、总结
这次憋了那么久才写第二篇文章的,实属惭愧,本来2月底这篇文章就要出来的,一直拖到现在,上一篇文章的阅读量整体来说还是不错的超出了我的预期,下面评论也有小伙伴希望我快点出这篇文章,整体来说还是不错的。这次的文章我希望就是说不仅仅是大家学会了如何去使用DotnetSpider,并且能够让大家了解一下如何爬数据,给大家提供一点点思路,所以我会结合实际场景来写这篇文章,不然的话,感觉会太过于枯燥了。
希望大家多多拍砖
七、下期预告
下次文章会涉及文件抓取
顺便说一句,有需要参加PMP或者高项考试的可以联系我,我有一些资料可以提供
2018年5月13日