• python 通过 url 下载文件包 data-downloader


    将下面代码中的your_usernameyour_password,改为自己在哨兵官网注册的用户名与密码,并复制到Python编辑器中执行。

    from data_downloader import downloader
    
    netrc = downloader.Netrc()
    netrc.add('scihub.copernicus.eu','your_username','your_password')

    执行后会在用户目录创建一个.netrc文件,当下载需要帐号密码的时候,会读取此文件。

    如果账号或密码输入错误,执行以下代码进行更新:

    netrc.add('scihub.copernicus.eu','your_username','your_password',overwrite=True)

    一个个下载文件

    1. 可以通过改变folder_outurl_file路径,来改变文件下载目录与包含url的文件路径
    2. 本脚本会自动跳过已下载的文件,并且支持断点续传。如果下载中断,个别文件下载不完整,重新执行本脚本即可。
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out
    = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    downloader.download_datas(urls, folder_out)

    并行下载文件

    1. ncore   设置并行下载数  默认为机器核心数
    urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]
    
    folder_out = 'D:PycharmProjects2021ShaoBingShujudownload_shaobingdataloadsen_1'
    
    downloader.download_datas(urls, folder_out, ncore=2)
  • 相关阅读:
    junit源码解析--测试驱动运行阶段
    junit源码解析--初始化阶段
    junit源码解析--核心类
    junit测试套件
    junit参数化测试
    junit忽略测试方法
    Junit4常用注解
    泛型技术
    在使用Java8并行流时的问题分析
    Linux 常用性能分析命令
  • 原文地址:https://www.cnblogs.com/luochunxi/p/14473494.html
Copyright © 2020-2023  润新知