记录下下载过程,为自己和后人避坑。
1.Conda连接不上镜像源问题
首先是anaconda安装软件或创建环境时遇到的问题。即使换完清华源和其他镜像源以后依旧报错。
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsi
尝试了很多方法:换源,删除.condarc中的default等,都不行。最后尝试了镜像源中,将https改为为http! 成功了。奇怪的是另一台服务器我用的conda完全一样的配置,用https也可以。这种事情很神奇,也有可能就是网络的问题。
具体可参考:
Anaconda建立新的环境,出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url ...... 解决过程
Anaconda3-更换为清华源后依旧报错CondaHTTPError: HTTP 000 CONNECTION FAILED
2. aspera不能再独立使用
aspera下载速度很快,网上很多教程统统用不了,原因就是ncbi的ftp中的sra/sra-instant
已经移除了。所以,当你看到类似的教程: ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l 200m anonftp@ftp.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR949/SRR949627/SRR949627.sra ~/data/
,请忽略它。
我尝试了其他几个ftp站点,也找不到sra-instant地址。
3.使用prefetch搭配aspera
退而求其次的方法,就是用prefetch。但需要注意prefetch和aspera的版本,最新版本的prefetch用不了aspera。
我这里安装sratools 2.9.6 ,可以源码下载,解压即可(已编译)。也可以用conda指定版本:
conda install sra-tools=2.9.6 -y
aspera的安装,同样可源码,下载地址:IBM Aspera Connect
我这里选择3.10.1.0,解压sh运行即可,默认安装在家目录以隐藏目录存在:
也可用anaconda安装:
conda install -c hcc aspera-cli
#可指定版本
conda install -c hcc aspera-cli=3.7.7
4. prefetch下载方法
安装好以后,直接用prefetch下载单个sra文件,或者下载文件列表。最好指定下载目录,prefetch默认下载在home/user/ncbi/public/sra中(会自动新建),home目录空间太小,不建议。
#单个sra
prefetch SRR8956151 -O ./
# 批量
prefetch --option-file SRR_Acc_List.txt -O ./
SRR_Acc_List.txt文件的寻找也比较麻烦:
prefetch会自动调用aspera的ascp。
下载的速度还是很快的,一个文件一分钟左右:
虽然prefetch会自动调用ascp,但由于网速等原因,有时也会出现timeout,特别是大文件下载,出现类似process failed while waiting process - ascp failed with 1
的错误,这时最好是指定ascp:
prefetch -t ascp -a "/home/user/.aspera/connect/bin/ascp|/home/user/.aspera/connect/etc/asperaweb_id_dsa.openssh" --option-file SRR_Acc_List.txt -O ./
https://www.jianshu.com/p/d1abdced8bcd
https://www.jianshu.com/p/ee1119a4e79d
https://www.jianshu.com/p/709924001d5d
https://www.jianshu.com/p/f16ed4c79739