从scrapy使用经历说开来

关于scrapy这个Python框架，萌萌的官网这么介绍:

An open source and collaborative framework for extracting the data you need from websites.

In a fast, simple, yet extensible way.

　　没错，scrapy是合作开发的开源爬虫框架，快而简，可扩展。

　　想要用好scrapy前提要有一定的python基础和数据库知识，当然一开始我也是白手起家，简单看了几天文档，做了一个demo，然后就开工了。

　　对于成长中的小码哥来说边做边学是常态。

　　项目开始，是对于需求和问题的分析，首先你的找到路子才好，这个点上前人的经验可以用来参考，但是一定要慎重，这是整个项目的设计阶段，虽说有些东西后期还可以修正，不过，不是前期多花功夫，后期可以避免大量的时间浪费是无数先驱换来的教训。

　　不过该踩的坑还是要亲自踩一踩才能有所成长，就像你的初恋一样。

　　不可避免，我也同样遇到了很多意料之外的问题，实践百度出真知。

项目笔记一：

　　寻找新闻抓取来源：

　　1.想省时间，找到了网站的滚动新闻界面，似乎新闻在这里聚集的结构比较清晰明了，嘻嘻就从这里下手吧。

　　　分析一下来源，发现新闻数目来的不够多，修改参数后发现网站有返回上限。

　　2.F12找api的线索，哈哈果然找到了，修改参数后返回来的数据量充足满意，还是结构清晰好用的json格式。

　　　　link: http://roll.news.sina.com.cn/interface/rollnews_ch_out_interface.php?col=89&spec=&type=&ch=01&k=&offset_page=0&offset_num=0&num=1

　　　格式如下：

var jsonData = { serverSeconds : 1458315582, last_time : 1458315350, path : [{title : "全部", id : "89", cType : "col"}], count : 19464, offset_page : 0, offset_num : 0, list : [ {channel : {title : "科技",id : "96",cType : "col",url : ""},title : "大众点评回应刷信誉：零容忍 但法律不完善",url : "http://tech.sina.com.cn/i/2016-03-18/doc-ifxqnskh0974535.shtml",type : '1',pic : '',time : 1458315350}] };

　　　注：后来的一些经验，现在再看新浪还是很有好地提供了一个jsonp的返回方法，效果就是其他网站和开发者可以更方便地跨域访问了。

　　嗯，好了处理下格式就能利用现成的标准库函数进行处理了。import json

 

项目笔记二：

　　书接上回，

　　说到json处理，有一些问题需要注意：

　　1.标准的json格式

　　2.编码——这是一个所有文字处理阶段必须有清晰了解的问题

	def sina_api_process(res):
		"""
		处理api 的response 返回的json,包括1.json数据说明 2.会引起错误的特殊字符
		"""
		try:
			data=res.decode("gbk").encode("utf-8")
			value=data[14:-1]
			value=value.replace("'s "," s ")
			keylist=["serverSeconds","last_time","path","title","cType","count","offset_page","offset_num","list","channel","url","type","pic"]
			#关键字+ 空格作为识别键值关键字的格式
			for i in keylist:            
				value=value.replace(i+" ","""+i+""")
			value=value.replace("time :",""time":")
			value=value.replace("id :",""id":")	
			#去除会引起错误的 特殊字符
			badwords=[""]        
			for i in badwords:
				value=value.replace(i,"")
			value=value.replace("'", """) 
			return value
		except Exception as ex :	
			logging.error(str(ex))

　　然后就是对处理后的json装载进python内建的json处理函数中

　　  js=json.loads(JSON,strict=False) #strict=False 使得不严格按照json格式的数据也能得到处理，当然这是略显粗鲁的方法

　　　　就可以对对象进行类似于嵌套列表的迭代和处理了~~

　　

有些晚了，到此为止，至今为止并无太多技术含量

23:22:33 2016-03-31