http://icuit.cn/bak/Release.rar
基本原理是通过Request到html源码然后解析HTML标签。
首先用System.Net.WebResponse,System.Net.WebRequest两个方法通过url获取到html的string.
然后解析html标签,都说用正则是最合适的做法。
但由于学疏才浅,用了第三方的库HtmlAgilityPack.可以像XML那样获取结点。
HtmlAgilityPack有GetElementbyId,SelectSingleNode,SelectNodes,GetAttributeValue等方法,
InnerHtml,InnerText等主要属性,再加上一些复杂的字符串分析,基本上可以满足要求了。
数据存储依然用的是SQLite。但是这东西似乎并发时表现一般,而且经常会锁住。
所以开了50个线程取数据的同时还得lock住insert的过程。