flask全栈开发11 memcached，redis教程：CSRF攻击

11.memcached，redis教程：CSRF攻击：

memcached

什么是memcached：

1. memcached之前是danga的一个项目，最早是为LiveJournal服务的，当初设计师为了加速LiveJournal访问速度而开发的，后来被很多大型项目采用。官网是www.danga.com或者是memcached.org。
2. Memcached是一个高性能的分布式的内存对象缓存系统，全世界有不少公司采用这个缓存项目来构建大负载的网站，来分担数据库的压力。Memcached是通过在内存里维护一个统一的巨大的hash表，memcached能存储各种各样的数据，包括图像、视频、文件、以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。
3. 哪些情况下适合使用Memcached：存储验证码（图形验证码、短信验证码）、登录session等所有不是至关重要的数据。

安装和启动memcached：

1. windows：

   • 安装：memcached.exe -d install。
   • 启动：memcached.exe -d start。

2. linux（ubuntu）：

   • 安装：sudo apt install memcached

   • 启动：

     cd /usr/local/memcached/bin
     ./memcached -d start
     

3. 可能出现的问题：

   • 提示你没有权限：在打开cmd的时候，右键使用管理员身份运行。
   • 提示缺少pthreadGC2.dll文件：将pthreadGC2.dll文件拷贝到windows/System32.
   • 不要放在含有中文的路径下面。

4. 启动memcached：

   • -d：这个参数是让memcached在后台运行。
   • -m：指定占用多少内存。以M为单位，默认为64M。
   • -p：指定占用的端口。默认端口是11211。
   • -l：别的机器可以通过哪个ip地址连接到我这台服务器。如果是通过service memcached start的方式，那么只能通过本机连接。如果想要让别的机器连接，就必须设置-l 0.0.0.0。

   如果想要使用以上参数来指定一些配置信息，那么不能使用service memcached start，而应该使用/usr/bin/memcached的方式来运行。比如/usr/bin/memcached -u memcache -m 1024 -p 11222 start。

telnet操作memcached：

telnet ip地址 [11211]

1. 添加数据：

   • set
     

     ：

     • 语法：

         set key flas(是否压缩) timeout value_length
         value
       

     • 示例：

         set username 0 60 7
         zhiliao
       

   • add：

     • 语法：

         add key flas(0) timeout value_length
         value
       

     • 示例：

         add username 0 60 7
         xiaotuo
       

       set和add的区别：add是只负责添加数据，不会去修改数据。如果添加的数据的key已经存在了，则添加失败，如果添加的key不存在，则添加成功。而set不同，如果memcached中不存在相同的key，则进行添加，如果存在，则替换。

2. 获取数据：

   • 语法：

       get key
     

   • 示例：

       get username
     

3. 删除数据：

   • 语法：

       delete key
     

   • 示例：

       delete username
     

   • flush_all：删除memcached中的所有数据。

4. 查看memcached的当前状态：

   • 语法：stats。

通过python操作memcached：

1. 安装：python-memcached：pip install python-memcached。

2. 建立连接：

    import memcache
    mc = memcache.Client(['127.0.0.1:11211','192.168.174.130:11211'],debug=True)
   

3. 设置数据：

    mc.set('username','hello world',time=60*5)
    mc.set_multi({'email':'xxx@qq.com','telphone':'111111'},time=60*5)
   

4. 获取数据：

    mc.get('telphone')
   

5. 删除数据：

    mc.delete('email')
   

6. 自增长：

    mc.incr('read_count')
   

7. 自减少：

    mc.decr('read_count')
   

memcached的安全性：

memcached的操作不需要任何用户名和密码，只需要知道memcached服务器的ip地址和端口号即可。因此memcached使用的时候尤其要注意他的安全性。这里提供两种安全的解决方案。分别来进行讲解：

1. 使用-l参数设置为只有本地可以连接：这种方式，就只能通过本机才能连接，别的机器都不能访问，可以达到最好的安全性。

2. 使用防火墙，关闭

   11211
   

   端口，外面也不能访问。

   ufw enable # 开启防火墙
   ufw disable # 关闭防火墙
   ufw default deny # 防火墙以禁止的方式打开，默认是关闭那些没有开启的端口
   ufw deny 端口号 # 关闭某个端口
   ufw allow 端口号 # 开启某个端口
   

redis教程：

概述

redis是一种nosql数据库,他的数据是保存在内存中，同时redis可以定时把内存数据同步到磁盘，即可以将数据持久化，并且他比memcached支持更多的数据结构(string,list列表[队列和栈],set[集合],sorted set[有序集合],hash(hash表))。相关参考文档：http://redisdoc.com/index.html

redis使用场景：

1. 登录会话存储：存储在redis中，与memcached相比，数据不会丢失。
2. 排行版/计数器：比如一些秀场类的项目，经常会有一些前多少名的主播排名。还有一些文章阅读量的技术，或者新浪微博的点赞数等。
3. 作为消息队列：比如celery就是使用redis作为中间人。
4. 当前在线人数：还是之前的秀场例子，会显示当前系统有多少在线人数。
5. 一些常用的数据缓存：比如我们的BBS论坛，板块不会经常变化的，但是每次访问首页都要从mysql中获取，可以在redis中缓存起来，不用每次请求数据库。
6. 把前200篇文章缓存或者评论缓存：一般用户浏览网站，只会浏览前面一部分文章或者评论，那么可以把前面200篇文章和对应的评论缓存起来。用户访问超过的，就访问数据库，并且以后文章超过200篇，则把之前的文章删除。
7. 好友关系：微博的好友关系使用redis实现。
8. 发布和订阅功能：可以用来做聊天软件。

redis和memcached的比较：

	memcached	redis
类型	纯内存数据库	内存磁盘同步数据库
数据类型	在定义value时就要固定数据类型	不需要
虚拟内存	不支持	支持
过期策略	支持	支持
存储数据安全	不支持	可以将数据同步到dump.db中
灾难恢复	不支持	可以将磁盘中的数据恢复到内存中
分布式	支持	主从同步
订阅与发布	不支持	支持

redis在ubuntu系统中的安装与启动

1. 安装：

    sudo apt-get install redis-server
   

2. 卸载：

    sudo apt-get purge --auto-remove redis-server
   

3. 启动：redis安装后，默认会自动启动，可以通过以下命令查看：

    ps aux|grep redis
   

   如果想自己手动启动，可以通过以下命令进行启动：

    sudo service redis-server start
   

4. 停止：

    sudo service redis-server stop
   

对redis的操作

对redis的操作可以用两种方式，第一种方式采用redis-cli，第二种方式采用编程语言，比如Python、PHP和JAVA等。

1. 使用redis-cli对redis进行字符串操作：

2. 启动redis：

     sudo service redis-server start
   

3. 连接上

   redis-server
   

   ：

     redis-cli -h [ip] -p [端口]
   

4. 添加：

     set key value
     如：
     set username xiaotuo
   

   将字符串值value关联到key。如果key已经持有其他值，set命令就覆写旧值，无视其类型。并且默认的过期时间是永久，即永远不会过期。

5. 删除：

     del key
     如：
     del username
   

6. 设置过期时间：

     expire key timeout(单位为秒)
   

   也可以在设置值的时候，一同指定过期时间：

     set key value EX timeout
     或：
     setex key timeout value
   

7. 查看过期时间：

     ttl key
     如：
     ttl username
   

8. 查看当前redis中的所有key：

     keys *
   

9. 列表操作：

   • 在列表左边添加元素：

       lpush key value
     

     将值value插入到列表key的表头。如果key不存在，一个空列表会被创建并执行lpush操作。当key存在但不是列表类型时，将返回一个错误。

   • 在列表右边添加元素：

       rpush key value
     

     将值value插入到列表key的表尾。如果key不存在，一个空列表会被创建并执行RPUSH操作。当key存在但不是列表类型时，返回一个错误。

   • 查看列表中的元素：

       lrange key start stop
     

     返回列表key中指定区间内的元素，区间以偏移量start和stop指定,如果要左边的第一个到最后的一个lrange key 0 -1。

   • 移除列表中的元素：

     • 移除并返回列表

       key
       

       的头元素：

         lpop key
       

     • 移除并返回列表的尾元素：

       rpop key
       

     • 移除并返回列表key的中间元素：

         lrem key count value
       

       将删除key这个列表中，count个值为value的元素。

   • 指定返回第几个元素：

       lindex key index
     

     将返回key这个列表中，索引为index的这个元素。

   • 获取列表中的元素个数：

       llen key
       如：
       llen languages
     

   • 删除指定的元素：

       lrem key count value
       如：
       lrem languages 0 php
     

     根据参数 count 的值，移除列表中与参数 value 相等的元素。count的值可以是以下几种：

     • count > 0：从表头开始向表尾搜索，移除与value相等的元素，数量为count。
     • count < 0：从表尾开始向表头搜索，移除与 value相等的元素，数量为count的绝对值。
     • count = 0：移除表中所有与value 相等的值。

10. set集合的操作：

    • 添加元素：

        sadd set value1 value2....
        如：
        sadd team xiaotuo datuo
      

    • 查看元素：

        smembeers set
        如：
        smembers team
      

    • 移除元素：

        srem set member...
        如：
        srem team xiaotuo datuo
      

    • 查看集合中的元素个数：

        scard set
        如：
        scard team1
      

    • 获取多个集合的交集：

        sinter set1 set2
        如：
        sinter team1 team2
      

    • 获取多个集合的并集：

        sunion set1 set2
        如：
        sunion team1 team2
      

    • 获取多个集合的差集：

      sdiff set1 set2
      如：
      sdiff team1 team2
      

11. hash哈希操作：

    • 添加一个新值：

        hset key field value
        如：
        hset website baidu baidu.com
      

      将哈希表key中的域field的值设为value。
      如果key不存在，一个新的哈希表被创建并进行 HSET操作。如果域 field已经存在于哈希表中，旧值将被覆盖。

    • 获取哈希中的field对应的值：

        hget key field
        如：
        hget website baidu
      

    • 删除field中的某个field：

        hdel key field
        如：
        hdel website baidu
      

    • 获取某个哈希中所有的field和value：

        hgetall key
        如：
        hgetall website
      

    • 获取某个哈希中所有的field：

        hkeys key
        如：
        hkeys website
      

    • 获取某个哈希中所有的值：

      hvals key
      如：
      hvals website
      

    • 判断哈希中是否存在某个field：

      hexists key field
      如：
      hexists website baidu
      

    • 获取哈希中总共的键值对：

      hlen field
      如：
      hlen website
      

12. 事务操作：Redis事务可以一次执行多个命令，事务具有以下特征：

    • 隔离操作：事务中的所有命令都会序列化、按顺序地执行，不会被其他命令打扰。

    • 原子操作：事务中的命令要么全部被执行，要么全部都不执行。

    • 开启一个事务：

        multi
      

      以后执行的所有命令，都在这个事务中执行的。

    • 执行事务：

        exec
      

      会将在multi和exec中的操作一并提交。

    • 取消事务：

        discard
      

      会将multi后的所有命令取消。

    • 监视一个或者多个key：

        watch key...
      

      监视一个(或多个)key，如果在事务执行之前这个(或这些) key被其他命令所改动，那么事务将被打断。

    • 取消所有key的监视：

        unwatch
      

13. 发布/订阅操作：

    • 给某个频道发布消息：

        publish channel message
      

    • 订阅某个频道的消息：

        subscribe channel
      

14. 持久化：redis提供了两种数据备份方式，一种是RDB，另外一种是AOF，以下将详细介绍这两种备份策略：

    | | RDB | AOF | | --- | --- | --- | | 开启关闭 | 开启：默认开启。关闭：把配置文件中所有的save都注释，就是关闭了。 | 开启：在配置文件中appendonly yes即开启了aof，为no关闭。 | | 同步机制 | 可以指定某个时间内发生多少个命令进行同步。比如1分钟内发生了2次命令，就做一次同步。 | 每秒同步或者每次发生命令后同步 | | 存储内容 | 存储的是redis里面的具体的值 | 存储的是执行的更新数据的操作命令 | | 存储文件的路径 | 根据dir以及dbfilename来指定路径和具体的文件名 | 根据dir以及appendfilename来指定具体的路径和文件名 | | 优点 | （1）存储数据到文件中会进行压缩，文件体积比aof小。（2）因为存储的是redis具体的值，并且会经过压缩，因此在恢复的时候速度比AOF快。（3）非常适用于备份。 | （1）AOF的策略是每秒钟或者每次发生写操作的时候都会同步，因此即使服务器故障，最多只会丢失1秒的数据。 （2）AOF存储的是Redis命令，并且是直接追加到aof文件后面，因此每次备份的时候只要添加新的数据进去就可以了。（3）如果AOF文件比较大了，那么Redis会进行重写，只保留最小的命令集合。 | | 缺点 | （1）RDB在多少时间内发生了多少写操作的时候就会出发同步机制，因为采用压缩机制，RDB在同步的时候都重新保存整个Redis中的数据，因此你一般会设置在最少5分钟才保存一次数据。在这种情况下，一旦服务器故障，会造成5分钟的数据丢失。（2）在数据保存进RDB的时候，Redis会fork出一个子进程用来同步，在数据量比较大的时候，可能会非常耗时。 | （1）AOF文件因为没有压缩，因此体积比RDB大。 （2）AOF是在每秒或者每次写操作都进行备份，因此如果并发量比较大，效率可能有点慢。（3）AOF文件因为存储的是命令，因此在灾难恢复的时候Redis会重新运行AOF中的命令，速度不及RDB。 | | 更多 | http://redisdoc.com/topic/persistence.html#redis | |

15. 安全：在配置文件中，设置requirepass password，那么客户端连接的时候，需要使用密码：

     > redis-cli -p 127.0.0.1 -p 6379
     redis> set username xxx
     (error) NOAUTH Authentication required.
     redis> auth password
     redis> set username xxx
     OK
    

Python操作redis

1. 安装python-redis：

    pip install redis
   

2. 新建一个文件比如redis_test.py，然后初始化一个redis实例变量，并且在ubuntu虚拟机中开启redis。比如虚拟机的ip地址为192.168.174.130。示例代码如下：

    # 从redis包中导入Redis类
    from redis import Redis
    # 初始化redis实例变量
    xtredis = Redis(host='192.168.174.130',port=6379)
   

3. 对字符串的操作：操作redis的方法名称，跟之前使用redis-cli一样，现就一些常用的来做个简单介绍，示例代码如下(承接以上的代码)：

    # 添加一个值进去，并且设置过期时间为60秒，如果不设置，则永远不会过期
    xtredis.set('username','xiaotuo',ex=60)
    # 获取一个值
    xtredis.get('username')
    # 删除一个值
    xtredis.delete('username')
    # 给某个值自增1
    xtredis.set('read_count',1)
    xtredis.incr('read_count')  # 这时候read_count变为2
    # 给某个值减少1
    xtredis.decr('read_count') # 这时候read_count变为1
   

4. 对列表的操作：同字符串操作，所有方法的名称跟使用redis-cli操作是一样的：

    # 给languages这个列表往左边添加一个python
    xtredis.lpush('languages','python')
    # 给languages这个列表往左边添加一个php
    xtredis.lpush('languages','php')
    # 给languages这个列表往左边添加一个javascript
    xtredis.lpush('languages','javascript')
   
    # 获取languages这个列表中的所有值
    print xtredis.lrange('languages',0,-1)
    > ['javascript','php','python']
   

5. 对集合的操作：

    # 给集合team添加一个元素xiaotuo
    xtredis.sadd('team','xiaotuo')
    # 给集合team添加一个元素datuo
    xtredis.sadd('team','datuo')
    # 给集合team添加一个元素slice
    xtredis.sadd('team','slice')
   
    # 获取集合中的所有元素
    xtredis.smembers('team')
    > ['datuo','xiaotuo','slice'] # 无序的
   

6. 对哈希(hash)的操作：

    # 给website这个哈希中添加baidu
    xtredis.hset('website','baidu','baidu.com')
    # 给website这个哈希中添加google
    xtredis.hset('website','google','google.com')
   
    # 获取website这个哈希中的所有值
    print xtredis.hgetall('website')
    > {"baidu":"baidu.com","google":"google.com"}
   

7. 事务(管道)操作：redis支持事务操作，也即一些操作只有统一完成，才能算完成。否则都执行失败，用python操作redis也是非常简单，示例代码如下：

    # 定义一个管道实例
    pip = xtredis.pipeline()
    # 做第一步操作，给BankA自增长1
    pip.incr('BankA')
    # 做第二步操作，给BankB自减少1
    pip.desc('BankB')
    # 执行事务
    pip.execute()
   

以上便展示了python-redis的一些常用方法，如果想深入了解其他的方法，可以参考python-redis的源代码（查看源代码pycharm快捷键提示：把鼠标光标放在import Redis的Redis上，然后按ctrl+b即可进入）。

CSRF攻击：

CSRF攻击概述：

CSRF（Cross Site Request Forgery, 跨站域请求伪造）是一种网络的攻击方式，它在 2007 年曾被列为互联网 20 大安全隐患之一。其他安全隐患，比如 SQL 脚本注入，跨站域脚本攻击等在近年来已经逐渐为众人熟知，很多网站也都针对他们进行了防御。然而，对于大多数人来说，CSRF 却依然是一个陌生的概念。即便是大名鼎鼎的 Gmail, 在 2007 年底也存在着 CSRF 漏洞，从而被黑客攻击而使 Gmail 的用户造成巨大的损失。

CSRF攻击原理：

网站是通过cookie来实现登录功能的。而cookie只要存在浏览器中，那么浏览器在访问这个cookie的服务器的时候，就会自动的携带cookie信息到服务器上去。那么这时候就存在一个漏洞了，如果你访问了一个别有用心或病毒网站，这个网站可以在网页源代码中插入js代码，使用js代码给其他服务器发送请求（比如ICBC的转账请求）。那么因为在发送请求的时候，浏览器会自动的把cookie发送给对应的服务器，这时候相应的服务器（比如ICBC网站），就不知道这个请求是伪造的，就被欺骗过去了。从而达到在用户不知情的情况下，给某个服务器发送了一个请求（比如转账）。

防御CSRF攻击：

CSRF攻击的要点就是在向服务器发送请求的时候，相应的cookie会自动的发送给对应的服务器。造成服务器不知道这个请求是用户发起的还是伪造的。这时候，我们可以在用户每次访问有表单的页面的时候，在网页源代码中加一个随机的字符串叫做csrf_token，在cookie中加一个也加入一个相同值的csrf_token字符串。以后给服务器发送请求的时候，必须在body中以及cookie中都携带csrf_token，服务器只有检测到cookie中的csrf_token和body中的csrf_token都相同，才认为这个请求是正常的，否则就是伪造的。那么黑客就没办法伪造请求了。在Flask中，如果想要防御CSRF攻击，应该做两步工作。第一个是使用flask_wtf.CSRFProtect来包裹app。第二个是在模版代码中添加一个input标签，加载csrf_token。示例代码如下：

• 服务器代码：

  from flask_wtf import CSRFProtect
  CSRFProtect(app)
  

• 模版代码：

  <input type="hidden" name="csrf_token" value="{{ csrf_token() }}"/>
  

iframe相关知识：

1. iframe
   

   可以加载嵌入别的域名下的网页。也就是说可以发送跨域请求。比如我可以在我自己的网页中加载百度的网站，示例代码如下：

   <iframe src="http://www.baidu.com/">
   </ifrmae>
   

2. 因为iframe加载的是别的域名下的网页。根据同源策略，js只能操作属于本域名下的代码，因此js不能操作通过iframe加载来的DOM元素。

3. 如果ifrmae的src属性为空，那么就没有同源策略的限制，这时候我们就可以操作iframe下面的代码了。并且，如果src为空，那么我们可以在iframe中，给任何域名都可以发送请求。

4. 直接在iframe中写html代码，浏览器是不会加载的。flask全栈开发9 Flask上下文，flask信号