一直想做个收集网址的数据库,本来想是直接分析265.com和hao123的链接,然后导入数据库就行了。
今天有个想法,就是写一个网络爬虫程序,从265的分类网站开始,
大多数网站主页下面都有友情链接,通常这些网址都是和本网址的主题相关的,
这样可以根据这些链接,一个一个分析下去,
估计可以得到目前大多数的网址,而且265上面已经分了几个大类,这样网址数据库就可以得到了,
那些被友情链接到的网址越多,权重也越大,排名越靠前,
只要定时运行一次,然后输出成静态页面,就可以生成我自己的网址导航了,
不知道这样生成的网址,和265的网址比较,会是怎么样的一个结果?