今天在用python实现爬虫的时候,就想看一下用c#实现同样的功能到底会多出来多少code,结果写着写着干脆把页面也简单的写一个出来,方便调试,
大致流程如下:
1.分析拉勾数据
2.查找拉勾做了哪些反爬虫限制
3.抓取数据,show page
过程中用到一个HtmlAgilityPack第三方库,获取热门城市的时候使用XPath表达式抓取数据
解析JSON使用的是JSON.NET,一如既往的好用
github:https://github.com/hxd1230/XD.Job.Spider.git