11.memcached，redis教程：CSRF攻击：
memcached
什么是memcached：
memcached之前是danga的一个项目，最早是为LiveJournal服务的，当初设计师为了加速LiveJournal访问速度而开发的，后来被很多大型项目采用。官网是www.danga.com或者是memcached.org。Memcached是一个高性能的分布式的内存对象缓存系统，全世界有不少公司采用这个缓存项目来构建大负载的网站，来分担数据库的压力。Memcached是通过在内存里维护一个统一的巨大的hash表，memcached能存储各种各样的数据，包括图像、视频、文件、以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。- 哪些情况下适合使用
Memcached：存储验证码（图形验证码、短信验证码）、登录session等所有不是至关重要的数据。
安装和启动memcached：
-
windows：
- 安装：
memcached.exe -d install。 - 启动：
memcached.exe -d start。
- 安装：
-
linux（ubuntu）：
-
安装：
sudo apt install memcached -
启动：
cd /usr/local/memcached/bin ./memcached -d start
-
-
可能出现的问题：
- 提示你没有权限：在打开cmd的时候，右键使用管理员身份运行。
- 提示缺少
pthreadGC2.dll文件：将pthreadGC2.dll文件拷贝到windows/System32. - 不要放在含有中文的路径下面。
-
启动
memcached：-d：这个参数是让memcached在后台运行。-m：指定占用多少内存。以M为单位，默认为64M。-p：指定占用的端口。默认端口是11211。-l：别的机器可以通过哪个ip地址连接到我这台服务器。如果是通过service memcached start的方式，那么只能通过本机连接。如果想要让别的机器连接，就必须设置-l 0.0.0.0。
如果想要使用以上参数来指定一些配置信息，那么不能使用
service memcached start，而应该使用/usr/bin/memcached的方式来运行。比如/usr/bin/memcached -u memcache -m 1024 -p 11222 start。
telnet操作memcached：
telnet ip地址 [11211]
-
添加数据：
-
set：
-
语法：
set key flas(是否压缩) timeout value_length value -
示例：
set username 0 60 7 zhiliao
-
-
add：-
语法：
add key flas(0) timeout value_length value -
示例：
add username 0 60 7 xiaotuoset和add的区别：add是只负责添加数据，不会去修改数据。如果添加的数据的key已经存在了，则添加失败，如果添加的key不存在，则添加成功。而set不同，如果memcached中不存在相同的key，则进行添加，如果存在，则替换。
-
-
-
获取数据：
-
语法：
get key -
示例：
get username
-
-
删除数据：
-
语法：
delete key -
示例：
delete username -
flush_all：删除memcached中的所有数据。
-
-
查看
memcached的当前状态：- 语法：
stats。
- 语法：
通过python操作memcached：
-
安装：
python-memcached：pip install python-memcached。 -
建立连接：
import memcache mc = memcache.Client(['127.0.0.1:11211','192.168.174.130:11211'],debug=True) -
设置数据：
mc.set('username','hello world',time=60*5) mc.set_multi({'email':'xxx@qq.com','telphone':'111111'},time=60*5) -
获取数据：
mc.get('telphone') -
删除数据：
mc.delete('email') -
自增长：
mc.incr('read_count') -
自减少：
mc.decr('read_count')
memcached的安全性：
memcached的操作不需要任何用户名和密码，只需要知道memcached服务器的ip地址和端口号即可。因此memcached使用的时候尤其要注意他的安全性。这里提供两种安全的解决方案。分别来进行讲解：
-
使用
-l参数设置为只有本地可以连接：这种方式，就只能通过本机才能连接，别的机器都不能访问，可以达到最好的安全性。 -
使用防火墙，关闭
11211端口，外面也不能访问。
ufw enable # 开启防火墙 ufw disable # 关闭防火墙 ufw default deny # 防火墙以禁止的方式打开，默认是关闭那些没有开启的端口 ufw deny 端口号 # 关闭某个端口 ufw allow 端口号 # 开启某个端口
redis教程：
概述
redis是一种nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档：http://redisdoc.com/index.html
redis使用场景：
- 登录会话存储：存储在
redis中，与memcached相比，数据不会丢失。 - 排行版/计数器：比如一些秀场类的项目，经常会有一些前多少名的主播排名。还有一些文章阅读量的技术，或者新浪微博的点赞数等。
- 作为消息队列：比如
celery就是使用redis作为中间人。 - 当前在线人数：还是之前的秀场例子，会显示当前系统有多少在线人数。
- 一些常用的数据缓存：比如我们的
BBS论坛，板块不会经常变化的，但是每次访问首页都要从mysql中获取，可以在redis中缓存起来，不用每次请求数据库。 - 把前200篇文章缓存或者评论缓存：一般用户浏览网站，只会浏览前面一部分文章或者评论，那么可以把前面200篇文章和对应的评论缓存起来。用户访问超过的，就访问数据库，并且以后文章超过200篇，则把之前的文章删除。
- 好友关系：微博的好友关系使用
redis实现。 - 发布和订阅功能：可以用来做聊天软件。
redis和memcached的比较：
| memcached | redis | |
|---|---|---|
| 类型 | 纯内存数据库 | 内存磁盘同步数据库 |
| 数据类型 | 在定义value时就要固定数据类型 | 不需要 |
| 虚拟内存 | 不支持 | 支持 |
| 过期策略 | 支持 | 支持 |
| 存储数据安全 | 不支持 | 可以将数据同步到dump.db中 |
| 灾难恢复 | 不支持 | 可以将磁盘中的数据恢复到内存中 |
| 分布式 | 支持 | 主从同步 |
| 订阅与发布 | 不支持 | 支持 |
redis在ubuntu系统中的安装与启动
-
安装：
sudo apt-get install redis-server -
卸载：
sudo apt-get purge --auto-remove redis-server -
启动：
redis安装后，默认会自动启动，可以通过以下命令查看：ps aux|grep redis如果想自己手动启动，可以通过以下命令进行启动：
sudo service redis-server start -
停止：
sudo service redis-server stop
对redis的操作
对redis的操作可以用两种方式，第一种方式采用redis-cli，第二种方式采用编程语言，比如Python、PHP和JAVA等。
-
使用
redis-cli对redis进行字符串操作： -
启动
redis：sudo service redis-server start -
连接上
redis-server：
redis-cli -h [ip] -p [端口] -
添加：
set key value 如： set username xiaotuo将字符串值
value关联到key。如果key已经持有其他值，set命令就覆写旧值，无视其类型。并且默认的过期时间是永久，即永远不会过期。 -
删除：
del key 如： del username -
设置过期时间：
expire key timeout(单位为秒)也可以在设置值的时候，一同指定过期时间：
set key value EX timeout 或： setex key timeout value -
查看过期时间：
ttl key 如： ttl username -
查看当前
redis中的所有key：keys * -
列表操作：
-
在列表左边添加元素：
lpush key value将值
value插入到列表key的表头。如果key不存在，一个空列表会被创建并执行lpush操作。当key存在但不是列表类型时，将返回一个错误。 -
在列表右边添加元素：
rpush key value将值value插入到列表key的表尾。如果key不存在，一个空列表会被创建并执行RPUSH操作。当key存在但不是列表类型时，返回一个错误。
-
查看列表中的元素：
lrange key start stop返回列表
key中指定区间内的元素，区间以偏移量start和stop指定,如果要左边的第一个到最后的一个lrange key 0 -1。 -
移除列表中的元素：
-
移除并返回列表
key的头元素：
lpop key -
移除并返回列表的尾元素：
rpop key -
移除并返回列表
key的中间元素：lrem key count value将删除
key这个列表中，count个值为value的元素。
-
-
指定返回第几个元素：
lindex key index将返回
key这个列表中，索引为index的这个元素。 -
获取列表中的元素个数：
llen key 如： llen languages -
删除指定的元素：
lrem key count value 如： lrem languages 0 php根据参数 count 的值，移除列表中与参数 value 相等的元素。
count的值可以是以下几种：- count > 0：从表头开始向表尾搜索，移除与
value相等的元素，数量为count。 - count < 0：从表尾开始向表头搜索，移除与
value相等的元素，数量为count的绝对值。 - count = 0：移除表中所有与
value相等的值。
- count > 0：从表头开始向表尾搜索，移除与
-
-
set集合的操作：-
添加元素：
sadd set value1 value2.... 如： sadd team xiaotuo datuo -
查看元素：
smembeers set 如： smembers team -
移除元素：
srem set member... 如： srem team xiaotuo datuo -
查看集合中的元素个数：
scard set 如： scard team1 -
获取多个集合的交集：
sinter set1 set2 如： sinter team1 team2 -
获取多个集合的并集：
sunion set1 set2 如： sunion team1 team2 -
获取多个集合的差集：
sdiff set1 set2 如： sdiff team1 team2
-
-
hash哈希操作：-
添加一个新值：
hset key field value 如： hset website baidu baidu.com将哈希表
key中的域field的值设为value。
如果key不存在，一个新的哈希表被创建并进行HSET操作。如果域field已经存在于哈希表中，旧值将被覆盖。 -
获取哈希中的
field对应的值：hget key field 如： hget website baidu -
删除
field中的某个field：hdel key field 如： hdel website baidu -
获取某个哈希中所有的
field和value：hgetall key 如： hgetall website -
获取某个哈希中所有的
field：hkeys key 如： hkeys website -
获取某个哈希中所有的值：
hvals key 如： hvals website -
判断哈希中是否存在某个
field：hexists key field 如： hexists website baidu -
获取哈希中总共的键值对：
hlen field 如： hlen website
-
-
事务操作：Redis事务可以一次执行多个命令，事务具有以下特征：
-
隔离操作：事务中的所有命令都会序列化、按顺序地执行，不会被其他命令打扰。
-
原子操作：事务中的命令要么全部被执行，要么全部都不执行。
-
开启一个事务：
multi以后执行的所有命令，都在这个事务中执行的。
-
执行事务：
exec会将在
multi和exec中的操作一并提交。 -
取消事务：
discard会将
multi后的所有命令取消。 -
监视一个或者多个
key：watch key...监视一个(或多个)key，如果在事务执行之前这个(或这些) key被其他命令所改动，那么事务将被打断。
-
取消所有
key的监视：unwatch
-
-
发布/订阅操作：
-
给某个频道发布消息：
publish channel message -
订阅某个频道的消息：
subscribe channel
-
-
持久化：
redis提供了两种数据备份方式，一种是RDB，另外一种是AOF，以下将详细介绍这两种备份策略：| | RDB | AOF | | --- | --- | --- | | 开启关闭 | 开启：默认开启。关闭：把配置文件中所有的save都注释，就是关闭了。 | 开启：在配置文件中
appendonly yes即开启了aof，为no关闭。 | | 同步机制 | 可以指定某个时间内发生多少个命令进行同步。比如1分钟内发生了2次命令，就做一次同步。 | 每秒同步或者每次发生命令后同步 | | 存储内容 | 存储的是redis里面的具体的值 | 存储的是执行的更新数据的操作命令 | | 存储文件的路径 | 根据dir以及dbfilename来指定路径和具体的文件名 | 根据dir以及appendfilename来指定具体的路径和文件名 | | 优点 | （1）存储数据到文件中会进行压缩，文件体积比aof小。（2）因为存储的是redis具体的值，并且会经过压缩，因此在恢复的时候速度比AOF快。（3）非常适用于备份。 | （1）AOF的策略是每秒钟或者每次发生写操作的时候都会同步，因此即使服务器故障，最多只会丢失1秒的数据。 （2）AOF存储的是Redis命令，并且是直接追加到aof文件后面，因此每次备份的时候只要添加新的数据进去就可以了。（3）如果AOF文件比较大了，那么Redis会进行重写，只保留最小的命令集合。 | | 缺点 | （1）RDB在多少时间内发生了多少写操作的时候就会出发同步机制，因为采用压缩机制，RDB在同步的时候都重新保存整个Redis中的数据，因此你一般会设置在最少5分钟才保存一次数据。在这种情况下，一旦服务器故障，会造成5分钟的数据丢失。（2）在数据保存进RDB的时候，Redis会fork出一个子进程用来同步，在数据量比较大的时候，可能会非常耗时。 | （1）AOF文件因为没有压缩，因此体积比RDB大。 （2）AOF是在每秒或者每次写操作都进行备份，因此如果并发量比较大，效率可能有点慢。（3）AOF文件因为存储的是命令，因此在灾难恢复的时候Redis会重新运行AOF中的命令，速度不及RDB。 | | 更多 | http://redisdoc.com/topic/persistence.html#redis | | -
安全：在配置文件中，设置
requirepass password，那么客户端连接的时候，需要使用密码：> redis-cli -p 127.0.0.1 -p 6379 redis> set username xxx (error) NOAUTH Authentication required. redis> auth password redis> set username xxx OK
Python操作redis
-
安装
python-redis：pip install redis -
新建一个文件比如
redis_test.py，然后初始化一个redis实例变量，并且在ubuntu虚拟机中开启redis。比如虚拟机的ip地址为192.168.174.130。示例代码如下：# 从redis包中导入Redis类 from redis import Redis # 初始化redis实例变量 xtredis = Redis(host='192.168.174.130',port=6379) -
对字符串的操作：操作
redis的方法名称，跟之前使用redis-cli一样，现就一些常用的来做个简单介绍，示例代码如下(承接以上的代码)：# 添加一个值进去，并且设置过期时间为60秒，如果不设置，则永远不会过期 xtredis.set('username','xiaotuo',ex=60) # 获取一个值 xtredis.get('username') # 删除一个值 xtredis.delete('username') # 给某个值自增1 xtredis.set('read_count',1) xtredis.incr('read_count') # 这时候read_count变为2 # 给某个值减少1 xtredis.decr('read_count') # 这时候read_count变为1 -
对列表的操作：同字符串操作，所有方法的名称跟使用
redis-cli操作是一样的：# 给languages这个列表往左边添加一个python xtredis.lpush('languages','python') # 给languages这个列表往左边添加一个php xtredis.lpush('languages','php') # 给languages这个列表往左边添加一个javascript xtredis.lpush('languages','javascript') # 获取languages这个列表中的所有值 print xtredis.lrange('languages',0,-1) > ['javascript','php','python'] -
对集合的操作：
# 给集合team添加一个元素xiaotuo xtredis.sadd('team','xiaotuo') # 给集合team添加一个元素datuo xtredis.sadd('team','datuo') # 给集合team添加一个元素slice xtredis.sadd('team','slice') # 获取集合中的所有元素 xtredis.smembers('team') > ['datuo','xiaotuo','slice'] # 无序的 -
对哈希(
hash)的操作：# 给website这个哈希中添加baidu xtredis.hset('website','baidu','baidu.com') # 给website这个哈希中添加google xtredis.hset('website','google','google.com') # 获取website这个哈希中的所有值 print xtredis.hgetall('website') > {"baidu":"baidu.com","google":"google.com"} -
事务(管道)操作：
redis支持事务操作，也即一些操作只有统一完成，才能算完成。否则都执行失败，用python操作redis也是非常简单，示例代码如下：# 定义一个管道实例 pip = xtredis.pipeline() # 做第一步操作，给BankA自增长1 pip.incr('BankA') # 做第二步操作，给BankB自减少1 pip.desc('BankB') # 执行事务 pip.execute()
以上便展示了python-redis的一些常用方法，如果想深入了解其他的方法，可以参考python-redis的源代码（查看源代码pycharm快捷键提示：把鼠标光标放在import Redis的Redis上，然后按ctrl+b即可进入）。
CSRF攻击：
CSRF攻击概述：
CSRF（Cross Site Request Forgery, 跨站域请求伪造）是一种网络的攻击方式，它在 2007 年曾被列为互联网 20 大安全隐患之一。其他安全隐患，比如 SQL 脚本注入，跨站域脚本攻击等在近年来已经逐渐为众人熟知，很多网站也都针对他们进行了防御。然而，对于大多数人来说，CSRF 却依然是一个陌生的概念。即便是大名鼎鼎的 Gmail, 在 2007 年底也存在着 CSRF 漏洞，从而被黑客攻击而使 Gmail 的用户造成巨大的损失。
CSRF攻击原理：
网站是通过cookie来实现登录功能的。而cookie只要存在浏览器中，那么浏览器在访问这个cookie的服务器的时候，就会自动的携带cookie信息到服务器上去。那么这时候就存在一个漏洞了，如果你访问了一个别有用心或病毒网站，这个网站可以在网页源代码中插入js代码，使用js代码给其他服务器发送请求（比如ICBC的转账请求）。那么因为在发送请求的时候，浏览器会自动的把cookie发送给对应的服务器，这时候相应的服务器（比如ICBC网站），就不知道这个请求是伪造的，就被欺骗过去了。从而达到在用户不知情的情况下，给某个服务器发送了一个请求（比如转账）。
防御CSRF攻击：
CSRF攻击的要点就是在向服务器发送请求的时候，相应的cookie会自动的发送给对应的服务器。造成服务器不知道这个请求是用户发起的还是伪造的。这时候，我们可以在用户每次访问有表单的页面的时候，在网页源代码中加一个随机的字符串叫做csrf_token，在cookie中加一个也加入一个相同值的csrf_token字符串。以后给服务器发送请求的时候，必须在body中以及cookie中都携带csrf_token，服务器只有检测到cookie中的csrf_token和body中的csrf_token都相同，才认为这个请求是正常的，否则就是伪造的。那么黑客就没办法伪造请求了。在Flask中，如果想要防御CSRF攻击，应该做两步工作。第一个是使用flask_wtf.CSRFProtect来包裹app。第二个是在模版代码中添加一个input标签，加载csrf_token。示例代码如下：
-
服务器代码：
from flask_wtf import CSRFProtect CSRFProtect(app) -
模版代码：
<input type="hidden" name="csrf_token" value="{{ csrf_token() }}"/>
iframe相关知识：
-
iframe可以加载嵌入别的域名下的网页。也就是说可以发送跨域请求。比如我可以在我自己的网页中加载百度的网站，示例代码如下：
<iframe src="http://www.baidu.com/"> </ifrmae> -
因为
iframe加载的是别的域名下的网页。根据同源策略，js只能操作属于本域名下的代码，因此js不能操作通过iframe加载来的DOM元素。 -
如果
ifrmae的src属性为空，那么就没有同源策略的限制，这时候我们就可以操作iframe下面的代码了。并且，如果src为空，那么我们可以在iframe中，给任何域名都可以发送请求。 -
直接在
iframe中写html代码，浏览器是不会加载的。flask全栈开发9 Flask上下文，flask信号