爬虫抓来的数据根据实际情况需要存入不同数据库,今天分享一下自己把数据存入redis数据库的经验,有需要的童鞋拿走不谢。
1、环境:
Mac osx + python2.7
2、需要安装的python包
reids
#安装方法 pip install redis
3、创建连接类
import redis class ConnectRedis(object): def __init__(self, host='localhost', port=6379, db=1): self.r = redis.Redis(host=host, port=port, db=db) # 向redis添加key、value,一次性添加 def set_key(self, key, value): if self.r.exists(key): return False else: num = self.r.sadd(key, value) self.r.save() return num # 以追加方式向key添加value,多次追加 def add_value(self, key, value): num = self.r.sadd(key, value) self.r.save() return num if __name__ == "__main__": try: r = ConnectRedis() # 设置 "follower_info"为key,write_dic为其对应值 r.add_value("follower_info", write_dic) except Exception as e: print "error:", e
4、运行我们的程序,去数据库查看一下,就有数啦
➜ ~ redis-cli 127.0.0.1:6379> select 1 OK 127.0.0.1:6379[1]> keys * 1) "follower_info"