如果在colab进行炼丹,数据集上传是个头疼的问题,稍微大一点的数据,传到谷歌云盘或者colab都是很慢的速度
本地测试上传要给500m的数据到谷歌云盘,需要50分钟
这里分享一个方法,先上传到onedriver,然后colab去下载分享文件
先把文件上传到onedriver,免费用户提供5g空间,一般训练数据集够用了
上传完后分享文件,然后点击下载,这里使用chrome进行操作,进入到下载内容里面,先停止
如下双击即可下载
右键复制这个地址就行了
然后在colab里面,使用curl命令即可下载文件
curl 复制的链接 \ --output 下载文件路径
使用如上命令即可完成下载,可以看到上图中下载速度还是很快的,有30M每秒了
实测大概500M的文件,上传到onedriver大概3-5分钟,下载不到30秒,比直接上传谷歌云盘快多了