• Python操作 RabbitMQ、Redis、Memcache


    Python操作 RabbitMQ、Redis、Memcache

     

    Memcached

      Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

    Memcached安装:  

    1 wget http://memcached.org/latest
    2 tar -zxvf memcached-1.x.x.tar.gz
    3 cd memcached-1.x.x
    4 ./configure && make && make test && sudo make install
    5  
    6 PS:依赖libevent
    7        yum install libevent-devel
    8        apt-get install libevent-dev

    启动Memcached:

     1 memcached -d -m 10    -u root -l 10.211.55.4 -p 12000 -c 256 -P /tmp/memcached.pid
     2 
     3 
     4 参数说明:
     5     -d 是启动一个守护进程
     6     -m 是分配给Memcache使用的内存数量,单位是MB
     7     -u 是运行Memcache的用户
     8     -l 是监听的服务器IP地址
     9     -p 是设置Memcache监听的端口,最好是1024以上的端口
    10     -c 选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定
    11     -P 是设置保存Memcache的pid文件

    Memcached命令

    1 存储命令: set/add/replace/append/prepend/cas
    2 获取命令: get/gets
    3 其他命令: delete/stats..

    Python操作Memcached

    安装API

    1 python操作Memcached使用Python-memcached模块
    2 下载安装:https://pypi.python.org/pypi/python-memcached

    1、第一次操作

    1 import memcache
    2  
    3 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    4 mc.set("foo", "bar")
    5 ret = mc.get('foo')
    6 print ret

    Ps:debug = True 表示运行出现错误时,现实错误信息,上线后移除该参数。

    2、天生支持集群

    python-memcached模块原生支持集群操作,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比

    1      主机    权重
    2     1.1.1.1   1
    3     1.1.1.2   2
    4     1.1.1.3   1
    5  
    6 那么在内存中主机列表为:
    7     host_list = ["1.1.1.1", "1.1.1.2", "1.1.1.2", "1.1.1.3", ]

    如果用户根据如果要在内存中创建一个键值对(如:k1 = "v1"),那么要执行一下步骤:

    • 根据算法将 k1 转换成一个数字
    • 将数字和主机列表长度求余数,得到一个值 N( 0 <= N < 列表长度 )
    • 在主机列表中根据 第2步得到的值为索引获取主机,例如:host_list[N]
    • 连接 将第3步中获取的主机,将 k1 = "v1" 放置在该服务器的内存中

    代码实现如下:

    1 mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
    2  
    3 mc.set('k1', 'v1')

    3、add
    添加一条键值对,如果已经存在的 key,重复执行add操作异常

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4  
    5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    6 mc.add('k1', 'v1')
    7 # mc.add('k1', 'v2') # 报错,对已经存在的key重复添加,失败!!!

    4、replace
    replace 修改某个key的值,如果key不存在,则异常。

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4  
    5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    6 # 如果memcache中存在kkkk,则替换成功,否则一场
    7 mc.replace('kkkk','999')

    5、set 和 set_multi

    set            设置一个键值对,如果key不存在,则创建,如果key存在,则修改
    set_multi   设置多个键值对,如果key不存在,则创建,如果key存在,则修改

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4  
    5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    6  
    7 mc.set('key0', 'wupeiqi')
    8  
    9 mc.set_multi({'key1': 'val1', 'key2': 'val2'})

    6、delete 和 delete_multi

    delete             在Memcached中删除指定的一个键值对
    delete_multi    在Memcached中删除指定的多个键值对

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4  
    5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    6  
    7 mc.delete('key0')
    8 mc.delete_multi(['key1', 'key2'])

    7、get 和 get_multi

    get            获取一个键值对
    get_multi   获取多一个键值对

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4  
    5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
    6  
    7 val = mc.get('key0')
    8 item_dict = mc.get_multi(["key1", "key2", "key3"])

    8、append 和 prepend

    append    修改指定key的值,在该值 后面 追加内容
    prepend   修改指定key的值,在该值 前面 插入内容

     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3 import memcache
     4  
     5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
     6 # k1 = "v1"
     7  
     8 mc.append('k1', 'after')
     9 # k1 = "v1after"
    10  
    11 mc.prepend('k1', 'before')
    12 # k1 = "beforev1after"

    9、decr 和 incr  

    incr  自增,将Memcached中的某一个值增加 N ( N默认为1 )
    decr 自减,将Memcached中的某一个值减少 N ( N默认为1 )

     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3 import memcache
     4  
     5 mc = memcache.Client(['10.211.55.4:12000'], debug=True)
     6 mc.set('k1', '777')
     7  
     8 mc.incr('k1')
     9 # k1 = 778
    10  
    11 mc.incr('k1', 10)
    12 # k1 = 788
    13  
    14 mc.decr('k1')
    15 # k1 = 787
    16  
    17 mc.decr('k1', 10)
    18 # k1 = 777

    10、gets 和 cas

    如商城商品剩余个数,假设改值保存在memcache中,product_count = 900
    A用户刷新页面从memcache中读取到product_count = 900
    B用户刷新页面从memcache中读取到product_count = 900

    如果A、B用户均购买商品

    A用户修改商品剩余个数 product_count=899
    B用户修改商品剩余个数 product_count=899 

    如此一来缓存内的数据便不在正确,两个用户购买商品后,商品剩余还是 899
    如果使用python的set和get来操作以上过程,那么程序就会如上述所示情况!

    如果想要避免此情况的发生,只要使用 gets 和 cas 即可,如:

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3 import memcache
    4 mc = memcache.Client(['10.211.55.4:12000'], debug=True, cache_cas=True)
    5  
    6 v = mc.gets('product_count')
    7 # ...
    8 # 如果有人在gets之后和cas之前修改了product_count,那么,下面的设置将会执行失败,剖出异常,从而避免非正常数据的产生
    9 mc.cas('product_count', "899")

    Ps:本质上每次执行gets时,会从memcache中获取一个自增的数字,通过cas去修改gets的值时,会携带之前获取的自增值和memcache中的自增值进行比较,如果相等,则可以提交,如果不想等,那表示在gets和cas执行之间,又有其他人执行了gets(获取了缓冲的指定值), 如此一来有可能出现非正常数据,则不允许修改。

    Memcached 真的过时了吗?

    Redis

    redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

    一、Redis安装和基本使用

    1 wget http://download.redis.io/releases/redis-3.0.6.tar.gz
    2 tar xzf redis-3.0.6.tar.gz
    3 cd redis-3.0.6
    4 make

    启动服务端

    1 src/redis-server

    启动客户端

    1 src/redis-cli
    2 redis> set foo bar
    3 OK
    4 redis> get foo
    5 "bar"

    二、Python操作Redis

    1 sudo pip install redis
    2 or
    3 sudo easy_install redis
    4 or
    5 源码安装
    6  
    7 详见:https://github.com/WoLpH/redis-py

    API使用

    redis-py 的API的使用可以分类为:

    • 连接方式
    • 连接池
    • 操作
      • String 操作
      • Hash 操作
      • List 操作
      • Set 操作
      • Sort Set 操作
    • 管道
    • 发布订阅

    1、操作模式

    redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。

    1 #!/usr/bin/env python
    2 # -*- coding:utf-8 -*-
    3  
    4 import redis
    5  
    6 r = redis.Redis(host='10.211.55.4', port=6379)
    7 r.set('foo', 'Bar')
    8 print r.get('foo')

    2、连接池

    redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数Redis,这样就可以实现多个Redis实例共享一个连接池。

     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3  
     4 import redis
     5  
     6 pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
     7  
     8 r = redis.Redis(connection_pool=pool)
     9 r.set('foo', 'Bar')
    10 print r.get('foo')

    3、操作

    String操作,redis中的String在在内存中按照一个name对应一个value来存储。如图:

        

    set(name, value, ex=None, px=None, nx=False, xx=False)

    1 在Redis中设置值,默认,不存在则创建,存在则修改
    2 参数:
    3      ex,过期时间(秒)
    4      px,过期时间(毫秒)
    5      nx,如果设置为True,则只有name不存在时,当前set操作才执行
    6      xx,如果设置为True,则只有name存在时,岗前set操作才执行

    setnx(name, value)

    1 设置值,只有name不存在时,执行设置操作(添加)

    setex(name, value, time

    1 # 设置值
    2 # 参数:
    3     # time,过期时间(数字秒 或 timedelta对象)

    psetex(name, time_ms, value)

    1 # 设置值
    2 # 参数:
    3     # time_ms,过期时间(数字毫秒 或 timedelta对象)

    mset(*args, **kwargs)

    1 批量设置值
    2 如:
    3     mset(k1='v1', k2='v2')
    4 5     mget({'k1': 'v1', 'k2': 'v2'})

    get(name)

    1 获取值

    mget(keys, *args)

    1 批量获取
    2 如:
    3     mget('ylr', 'wupeiqi')
    4 5     r.mget(['ylr', 'wupeiqi'])

    getset(name, value)

    1 设置新值并获取原来的值

    getrange(key, start, end)

    1 # 获取子序列(根据字节获取,非字符)
    2 # 参数:
    3     # name,Redis 的 name
    4     # start,起始位置(字节)
    5     # end,结束位置(字节)
    6 # 如: "武沛齐" ,0-3表示 "武"

    setrange(name, offset, value)

    1 # 修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)
    2 # 参数:
    3     # offset,字符串的索引,字节(一个汉字三个字节)
    4     # value,要设置的值

    setbit(name, offset, value)

     1 对name对应值的二进制表示的位进行操作
     2  
     3 # 参数:
     4     # name,redis的name
     5     # offset,位的索引(将值变换成二进制后再进行索引)
     6     # value,值只能是 1 或 0
     7  
     8 # 注:如果在Redis中有一个对应: n1 = "foo",
     9         那么字符串foo的二进制表示为:01100110 01101111 01101111
    10     所以,如果执行 setbit('n1', 7, 1),则就会将第7位设置为1,
    11         那么最终二进制则变成 01100111 01101111 01101111,即:"goo"
    12  
    13 # 扩展,转换二进制表示:
    14  
    15     # source = "武沛齐"
    16     source = "foo"
    17  
    18     for i in source:
    19         num = ord(i)
    20         print bin(num).replace('b','')
    21  
    22     特别的,如果source是汉字 "武沛齐"怎么办?
    23     答:对于utf-8,每一个汉字占 3 个字节,那么 "武沛齐" 则有 9个字节
    24        对于汉字,for循环时候会按照 字节 迭代,那么在迭代时,将每一个字节转换 十进制数,然后再将十进制数转换成二进制
    25         11100110 10101101 10100110 11100110 10110010 10011011 11101001 10111101 10010000
    26         -------------------------- ----------------------------- -----------------------------
    27                     武                         沛                           齐

    getbit(name, offset)

    1 # 获取name对应的值的二进制表示中的某位的值 (0或1)

    bitcount(key, start=None, end=None)

    1 # 获取name对应的值的二进制表示中 1 的个数
    2 # 参数:
    3     # key,Redis的name
    4     # start,位起始位置
    5     # end,位结束位置

    bitop(operation, dest, *keys)

     1 # 获取多个值,并将值做位运算,将最后的结果保存至新的name对应的值
     2  
     3 # 参数:
     4     # operation,AND(并) 、 OR(或) 、 NOT(非) 、 XOR(异或)
     5     # dest, 新的Redis的name
     6     # *keys,要查找的Redis的name
     7  
     8 # 如:
     9     bitop("AND", 'new_name', 'n1', 'n2', 'n3')
    10     # 获取Redis中n1,n2,n3对应的值,然后讲所有的值做位运算(求并集),然后将结果保存 new_name 对应的值中

    strlen(name)

    1 # 返回name对应值的字节长度(一个汉字3个字节)

    incr(self, name, amount=1)

    1 # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
    2  
    3 # 参数:
    4     # name,Redis的name
    5     # amount,自增数(必须是整数)
    6  
    7 # 注:同incrby

    incrbyfloat(self, name, amount=1.0)

    1 # 自增 name对应的值,当name不存在时,则创建name=amount,否则,则自增。
    2  
    3 # 参数:
    4     # name,Redis的name
    5     # amount,自增数(浮点型)

    decr(self, name, amount=1)

    1 # 自减 name对应的值,当name不存在时,则创建name=amount,否则,则自减。
    2  
    3 # 参数:
    4     # name,Redis的name
    5     # amount,自减数(整数)

    append(key, value)

    1 # 在redis name对应的值后面追加内容
    2  
    3 # 参数:
    4     key, redis的name
    5     value, 要追加的字符串

    Hash操作,redis中Hash在内存中的存储格式如下图:

    hset(name, key, value)

    1 # name对应的hash中设置一个键值对(不存在,则创建;否则,修改)
    2  
    3 # 参数:
    4     # name,redis的name
    5     # key,name对应的hash中的key
    6     # value,name对应的hash中的value
    7  
    8 # 注:
    9     # hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建(相当于添加)

    hmset(name, mapping)

    1 # 在name对应的hash中批量设置键值对
    2  
    3 # 参数:
    4     # name,redis的name
    5     # mapping,字典,如:{'k1':'v1', 'k2': 'v2'}
    6  
    7 # 如:
    8     # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

    hget(name,key)

    1 # 在name对应的hash中获取根据key获取value

    hmget(name, keys, *args)

     1 # 在name对应的hash中获取多个key的值
     2  
     3 # 参数:
     4     # name,reids对应的name
     5     # keys,要获取key集合,如:['k1', 'k2', 'k3']
     6     # *args,要获取的key,如:k1,k2,k3
     7  
     8 # 如:
     9     # r.mget('xx', ['k1', 'k2'])
    10     #
    11     # print r.hmget('xx', 'k1', 'k2')

    详细请点击: http://www.runoob.com/redis/redis-hashes.html

           http://www.cnblogs.com/wupeiqi/articles/5132791.html

    更多参见:https://github.com/andymccurdy/redis-py/

    http://doc.redisfans.com/

    RabbitMQ

         RabbitMQ是一个在AMQP基础上完整的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。

    MQ全称为Message Queue, 消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消 息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

    RabbitMQ安装

    1 安装配置epel源
    2    $ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
    3  
    4 安装erlang
    5    $ yum -y install erlang
    6  
    7 安装RabbitMQ
    8    $ yum -y install rabbitmq-server

    注意:service rabbitmq-server start/stop

    安装API

    1 pip install pika
    2 or
    3 easy_install pika
    4 or
    5 源码
    6  
    7 https://pypi.python.org/pypi/pika

    使用API操作RabbitMQ

    基于Queue实现生产者消费者模型

     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3 import Queue
     4 import threading
     5 
     6 
     7 message = Queue.Queue(10)
     8 
     9 
    10 def producer(i):
    11     while True:
    12         message.put(i)
    13 
    14 
    15 def consumer(i):
    16     while True:
    17         msg = message.get()
    18 
    19 
    20 for i in range(12):
    21     t = threading.Thread(target=producer, args=(i,))
    22     t.start()
    23 
    24 for i in range(10):
    25     t = threading.Thread(target=consumer, args=(i,))
    26     t.start()
    View Code

    对于RabbitMQ来说,生产和消费不再针对内存里的一个Queue对象,而是某台服务器上的RabbitMQ Server实现的消息队列。

     1 #!/usr/bin/env python
     2 import pika
     3  
     4 # ######################### 生产者 #########################
     5  
     6 connection = pika.BlockingConnection(pika.ConnectionParameters(
     7         host='localhost'))
     8 channel = connection.channel()
     9  
    10 channel.queue_declare(queue='hello')
    11  
    12 channel.basic_publish(exchange='',
    13                       routing_key='hello',
    14                       body='Hello World!')
    15 print(" [x] Sent 'Hello World!'")
    16 connection.close()
     1 #!/usr/bin/env python
     2 import pika
     3  
     4 # ########################## 消费者 ##########################
     5  
     6 connection = pika.BlockingConnection(pika.ConnectionParameters(
     7         host='localhost'))
     8 channel = connection.channel()
     9  
    10 channel.queue_declare(queue='hello')
    11  
    12 def callback(ch, method, properties, body):
    13     print(" [x] Received %r" % body)
    14  
    15 channel.basic_consume(callback,
    16                       queue='hello',
    17                       no_ack=True)
    18  
    19 print(' [*] Waiting for messages. To exit press CTRL+C')
    20 channel.start_consuming()

    1、acknowledgment 消息不丢失

    no-ack = False,如果消费者遇到情况(its channel is closed, connection is closed, or TCP connection is lost)挂掉了,那么,RabbitMQ会重新将该任务添加到队列中。

     1 import pika
     2 
     3 connection = pika.BlockingConnection(pika.ConnectionParameters(
     4         host='10.211.55.4'))
     5 channel = connection.channel()
     6 
     7 channel.queue_declare(queue='hello')
     8 
     9 def callback(ch, method, properties, body):
    10     print(" [x] Received %r" % body)
    11     import time
    12     time.sleep(10)
    13     print 'ok'
    14     ch.basic_ack(delivery_tag = method.delivery_tag)
    15 
    16 channel.basic_consume(callback,
    17                       queue='hello',
    18                       no_ack=False)
    19 
    20 print(' [*] Waiting for messages. To exit press CTRL+C')
    21 channel.start_consuming()
    22 
    23 消费者
    消费者

    2、durable   消息不丢失

     1 #!/usr/bin/env python
     2 import pika
     3 
     4 connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
     5 channel = connection.channel()
     6 
     7 # make message persistent
     8 channel.queue_declare(queue='hello', durable=True)
     9 
    10 channel.basic_publish(exchange='',
    11                       routing_key='hello',
    12                       body='Hello World!',
    13                       properties=pika.BasicProperties(
    14                           delivery_mode=2, # make message persistent
    15                       ))
    16 print(" [x] Sent 'Hello World!'")
    17 connection.close()
    18 
    19 生产者
    生产者
     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3 import pika
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
     6 channel = connection.channel()
     7 
     8 # make message persistent
     9 channel.queue_declare(queue='hello', durable=True)
    10 
    11 
    12 def callback(ch, method, properties, body):
    13     print(" [x] Received %r" % body)
    14     import time
    15     time.sleep(10)
    16     print 'ok'
    17     ch.basic_ack(delivery_tag = method.delivery_tag)
    18 
    19 channel.basic_consume(callback,
    20                       queue='hello',
    21                       no_ack=False)
    22 
    23 print(' [*] Waiting for messages. To exit press CTRL+C')
    24 channel.start_consuming()
    25 
    26 消费者
    消费者

    3、消息获取顺序

    默认消息队列里的数据是按照顺序被消费者拿走,例如:消费者1 去队列中获取 奇数 序列的任务,消费者1去队列中获取 偶数 序列的任务。

    channel.basic_qos(prefetch_count=1) 表示谁来谁取,不再按照奇偶数排列

     1 #!/usr/bin/env python
     2 # -*- coding:utf-8 -*-
     3 import pika
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4'))
     6 channel = connection.channel()
     7 
     8 # make message persistent
     9 channel.queue_declare(queue='hello')
    10 
    11 
    12 def callback(ch, method, properties, body):
    13     print(" [x] Received %r" % body)
    14     import time
    15     time.sleep(10)
    16     print 'ok'
    17     ch.basic_ack(delivery_tag = method.delivery_tag)
    18 
    19 channel.basic_qos(prefetch_count=1)
    20 
    21 channel.basic_consume(callback,
    22                       queue='hello',
    23                       no_ack=False)
    24 
    25 print(' [*] Waiting for messages. To exit press CTRL+C')
    26 channel.start_consuming()
    27 
    28 消费者
    消费者

    4、发布订阅

     

    发布订阅和简单的消息队列区别在于,发布订阅会将消息发送给所有的订阅者,而消息队列中的数据被消费一次便消失。所以,RabbitMQ实现发布和订阅时,会为每一个订阅者创建一个队列,而发布者发布消息时,会将消息放置在所有相关队列中。

     exchange type = fanout

     1 #!/usr/bin/env python
     2 import pika
     3 import sys
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(
     6         host='localhost'))
     7 channel = connection.channel()
     8 
     9 channel.exchange_declare(exchange='logs',
    10                          type='fanout')
    11 
    12 message = ' '.join(sys.argv[1:]) or "info: Hello World!"
    13 channel.basic_publish(exchange='logs',
    14                       routing_key='',
    15                       body=message)
    16 print(" [x] Sent %r" % message)
    17 connection.close()
    18 
    19 发布者
    发布者
     1 #!/usr/bin/env python
     2 import pika
     3 
     4 connection = pika.BlockingConnection(pika.ConnectionParameters(
     5         host='localhost'))
     6 channel = connection.channel()
     7 
     8 channel.exchange_declare(exchange='logs',
     9                          type='fanout')
    10 
    11 result = channel.queue_declare(exclusive=True)
    12 queue_name = result.method.queue
    13 
    14 channel.queue_bind(exchange='logs',
    15                    queue=queue_name)
    16 
    17 print(' [*] Waiting for logs. To exit press CTRL+C')
    18 
    19 def callback(ch, method, properties, body):
    20     print(" [x] %r" % body)
    21 
    22 channel.basic_consume(callback,
    23                       queue=queue_name,
    24                       no_ack=True)
    25 
    26 channel.start_consuming()
    27 
    28 订阅者
    订阅者

    5、关键字发送

     

     exchange type = direct

    之前事例,发送消息时明确指定某个队列并向其中发送消息,RabbitMQ还支持根据关键字发送,即:队列绑定关键字,发送者将数据根据关键字发送到消息exchange,exchange根据 关键字 判定应该将数据发送至指定队列。

     1 #!/usr/bin/env python
     2 import pika
     3 import sys
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(
     6         host='localhost'))
     7 channel = connection.channel()
     8 
     9 channel.exchange_declare(exchange='direct_logs',
    10                          type='direct')
    11 
    12 result = channel.queue_declare(exclusive=True)
    13 queue_name = result.method.queue
    14 
    15 severities = sys.argv[1:]
    16 if not severities:
    17     sys.stderr.write("Usage: %s [info] [warning] [error]
    " % sys.argv[0])
    18     sys.exit(1)
    19 
    20 for severity in severities:
    21     channel.queue_bind(exchange='direct_logs',
    22                        queue=queue_name,
    23                        routing_key=severity)
    24 
    25 print(' [*] Waiting for logs. To exit press CTRL+C')
    26 
    27 def callback(ch, method, properties, body):
    28     print(" [x] %r:%r" % (method.routing_key, body))
    29 
    30 channel.basic_consume(callback,
    31                       queue=queue_name,
    32                       no_ack=True)
    33 
    34 channel.start_consuming()
    35 
    36 消费者
    消费者
     1 #!/usr/bin/env python
     2 import pika
     3 import sys
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(
     6         host='localhost'))
     7 channel = connection.channel()
     8 
     9 channel.exchange_declare(exchange='direct_logs',
    10                          type='direct')
    11 
    12 severity = sys.argv[1] if len(sys.argv) > 1 else 'info'
    13 message = ' '.join(sys.argv[2:]) or 'Hello World!'
    14 channel.basic_publish(exchange='direct_logs',
    15                       routing_key=severity,
    16                       body=message)
    17 print(" [x] Sent %r:%r" % (severity, message))
    18 connection.close()
    19 
    20 生产者
    生产者

    6. 模糊匹配

     exchange type = topic

    在topic类型下,可以让队列绑定几个模糊的关键字,之后发送者将数据发送到exchange,exchange将传入”路由值“和 ”关键字“进行匹配,匹配成功,则将数据发送到指定队列。

    • # 表示可以匹配 0 个 或 多个 单词
    • *  表示只能匹配 一个 单词
    1 发送者路由值              队列中
    2 old.boy.python          old.*  -- 不匹配
    3 old.boy.python          old.#  -- 匹配
     1 #!/usr/bin/env python
     2 import pika
     3 import sys
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(
     6         host='localhost'))
     7 channel = connection.channel()
     8 
     9 channel.exchange_declare(exchange='topic_logs',
    10                          type='topic')
    11 
    12 result = channel.queue_declare(exclusive=True)
    13 queue_name = result.method.queue
    14 
    15 binding_keys = sys.argv[1:]
    16 if not binding_keys:
    17     sys.stderr.write("Usage: %s [binding_key]...
    " % sys.argv[0])
    18     sys.exit(1)
    19 
    20 for binding_key in binding_keys:
    21     channel.queue_bind(exchange='topic_logs',
    22                        queue=queue_name,
    23                        routing_key=binding_key)
    24 
    25 print(' [*] Waiting for logs. To exit press CTRL+C')
    26 
    27 def callback(ch, method, properties, body):
    28     print(" [x] %r:%r" % (method.routing_key, body))
    29 
    30 channel.basic_consume(callback,
    31                       queue=queue_name,
    32                       no_ack=True)
    33 
    34 channel.start_consuming()
    35 
    36 消费者
    消费者
     1 #!/usr/bin/env python
     2 import pika
     3 import sys
     4 
     5 connection = pika.BlockingConnection(pika.ConnectionParameters(
     6         host='localhost'))
     7 channel = connection.channel()
     8 
     9 channel.exchange_declare(exchange='topic_logs',
    10                          type='topic')
    11 
    12 routing_key = sys.argv[1] if len(sys.argv) > 1 else 'anonymous.info'
    13 message = ' '.join(sys.argv[2:]) or 'Hello World!'
    14 channel.basic_publish(exchange='topic_logs',
    15                       routing_key=routing_key,
    16                       body=message)
    17 print(" [x] Sent %r:%r" % (routing_key, message))
    18 connection.close()
    19 
    20 生产者
    生产者
     1 sudo rabbitmqctl add_user alex 123
     2 # 设置用户为administrator角色
     3 sudo rabbitmqctl set_user_tags alex administrator
     4 # 设置权限
     5 sudo rabbitmqctl set_permissions -p "/" alex '.''.''.'
     6 
     7 # 然后重启rabbiMQ服务
     8 sudo /etc/init.d/rabbitmq-server restart
     9  
    10 # 然后可以使用刚才的用户远程连接rabbitmq server了。
    11 
    12 
    13 ------------------------------
    14 credentials = pika.PlainCredentials("alex","123")
    15 
    16 connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.14.47',credentials=credentials))
    View Code
  • 相关阅读:
    Python request
    Dockerfile详解
    k8s 英文文档翻译
    k8s 相关命令
    k8s 廖老师的分享
    Docker docker-compose安装
    Mysql 锁库与锁表
    Docker 二进制安装docker
    Java多线程的同步控制记录
    JAVA并行程序基础
  • 原文地址:https://www.cnblogs.com/python-nameless/p/6832148.html
Copyright © 2020-2023  润新知