• 把爬虫部署到这个vps云主机上面-操作方法



    现在的问题是如何操作把爬虫部署到这个vps云主机上面,

    第一步,购买云主机,http://www.5jwl.com/ 无极网络,

    我使用这个公司的,

    第二步,在云主机配置拨号,这个每个厂商都有教程,

    买了之后问问厂商,

    第三步,在vps安装python和配置python虚拟环境,

    这一步在centos安装python可能会比较麻烦,

    第四步,部署爬虫代码,

    既然你要让这个vps能改变ip,就要知道用代码来控制断开拨号和开启拨号,这样才可以改变ip,

    然后就是要知道怎么通过代码获取ip和端口,这样才可以在代码里使用这个ip代理,

    但是如果只是把爬虫部署到vps上,就不需要获取这个ip和端口了,因为你就在机器里面,用的就是这个ip和端口,

    只是如果你需要远程调用的话,需要知道这个ip和端口,才可以远程调用,

    #####

    centos的网络的操作,

    ifconfig

    这是初始的ip,

     

    这是停止拨号的情况,会发现ppp0不见了,

    这是停止拨号之后,重新开始拨号,会发现这个ppp0的ip变换了,

    pppoe-start 开始拨号,我发现这一步很慢, 应该是在建立连接,打开要好几秒,这种效率低,

    ping www.baidu.com 进行网络验证

    开始拨号的网络

    停止拨号的网络

    pppoe-stop 停止拨号

    pppoe-status查看拨号状态和拨号后的信息

    开始拨号的状态

    停止拨号的状态

    #####

    上面是centos的操作

    如果能使用代码操作这个拨号

    如果需要把断网重拨命令写入脚本的话,pppoe-stop && pppoe-start命令之间需要加sleep 1s一秒延迟,否则会拨号不成功。若使用/sbin/ifdown ppp0 && /sbin/ifup ppp0,则不需要加一秒延迟,也能正常拨号成功。

    import os
    import time
    os.system("ifdown ppp0")
    status = os.system("pppoe-status")
    print(status)
    time.sleep(6)
    os.system("ifup ppp0")
    status = os.system("pppoe-status")
    print(status)

    这样就可以实现拨号了,然后你就可以继续下一步了,把这个命令融入你的爬虫脚本

    #####

  • 相关阅读:
    C#获取远程客户端IP
    .NET 中的对象序列化
    架构师
    如何在删除并重新安装 IIS 之后修复 IIS 映射
    Web.config里设置upload文件大小限制的属性是什么来着?在哪个Section里?
    ASP.net security
    如何优化JavaScript脚本的性能
    关于session丢失原因的分析
    浅谈对象的序列化(Serialize)
    微软软件架构师培训
  • 原文地址:https://www.cnblogs.com/andy0816/p/15324164.html
Copyright © 2020-2023  润新知