• Python使用又拍云进行第三方文件拉取


    在爬虫过程中,需要将图片或其他文件进行存储到云上,但在下载图片时,看官方文档,貌似需要先下载到后再上传又拍云,感觉效率很低下。经查找资料实现Python直接对第三方资源进行文件拉取操作,即不需要下载到本地,代码如下:

    import upyun
    up = upyun.UpYun('xxxxx', 'xxxxx', 'xxxxx')  # 您又拍云登录信息
    img_url = 'https://desk-fd.zol-img.com.cn/t_s1144x1190c5/g5/M00/04/0C/ChMkJlYzFaeIX4_zAAP4WqNwUMMAAESqgI3OA8AA_hy369.jpg'  # 需要拉取的url
    notify_url = 'http://httpbin.org/post' # 回调地址
    fetch_tasks = [
    {
    'url': img_url, # 需要拉取文件的 URL
    'random': False, # 是否追加随机数, 默认 false
    'overwrite': True, # 是否覆盖,默认 true
    'save_as': '/text/0.jpg', # 保存路径
    }
    ]

    print up.put_tasks(fetch_tasks, notify_url, 'spiderman')
    上传成功后会返回 [u'a319f9d4abc629001']], 表示上传成功
    注意:
    fetch_tasks 内可以多条进行上传,通过[{},{},{}]的方式
    然后在您的浏览器输入: 您又拍云的http地址 + save_as 的保存地址 进行测试查看是否上传成功

    参考GitHub文档:https://github.com/upyun/python-sdk
    参考upyun官方文档:http://docs.upyun.com/cloud/spider/
  • 相关阅读:
    ssh scp命令详解
    python模块与包
    python参数Sample Code
    python 多线程简介
    python virtualenv环境安装(ubuntu)
    python pip 代理设置
    mysql资源总结
    mysql索引原理及用法
    Oracle学习笔记:利用user_segments查表的大小
    Oracle学习笔记:dba_tables、all_tables、user_tables区别
  • 原文地址:https://www.cnblogs.com/fanjp666888/p/8631341.html
Copyright © 2020-2023  润新知