我们回到后端
pika是专门处理RabitAMQP的包
或者你可以直接一步到位
我们不能一直让我们的网络爬虫一直爬信息
一是网络消耗很大(cpu)
二是容易被网站发现被禁ip
self.connection.sleep(seconds)可以保证程序sleep而且链接不断
为何我们不让整个爬虫都执行这个sleep呢
这是因为即使你没有消息要传递 你仍然要和远程AMQP保持通信heartbeat
不然他就认为你掉线了
我们来测试
测试通过
我们回到后端
pika是专门处理RabitAMQP的包
或者你可以直接一步到位
我们不能一直让我们的网络爬虫一直爬信息
一是网络消耗很大(cpu)
二是容易被网站发现被禁ip
self.connection.sleep(seconds)可以保证程序sleep而且链接不断
为何我们不让整个爬虫都执行这个sleep呢
这是因为即使你没有消息要传递 你仍然要和远程AMQP保持通信heartbeat
不然他就认为你掉线了
我们来测试
测试通过