这大半个月一直在瞎研究深度学习的方面,跟着UFLDL的教程学了下来,中途也看了很多大大们的博客,感觉获益匪浅,终于给了迷茫的自己入门的开端。
话说UFLDL真的很浅显易懂呢,虽然有些我不怎么明白就是啦(那你的浅显易懂是什么回事!)
嘛,和之前斯坦福的coursera一样,这个教程的Exercise也是基于matlab,深度学习也有很好的Matlab组件包,网上很多大大都给与了注解和说明。。但是好喜欢Python的说,正好有个很受推荐的deeplearning的网站,基于Python的,不错不错。
使用python开展深度学习,需要一个叫做 Theano 的组件包,啊这个包总的来说就是支持高效的多维数组与各种函数优化算法,同时可以使用NVIDIA图形显卡进行加速,嗯很棒。。(最后一个是可选功能)
theano的组件包也是在这里可以下载到:
这个是官网提供PDF的手册下载: http://deeplearning.net/software/theano/index.html
现在的版本是0.60的,可以在PYPI上下到 http://deeplearning.net/software/theano/index.html#download
不过,我这种懒人一般的东西都是在这里下到: http://www.lfd.uci.edu/~gohlke/pythonlibs/
在上面那个网,ctrl+F检索 theano就可以的,很多个版本,都是exe文件,会自动检测电脑中适配的python版本,自动完成编译和安装
要用这个组件包(普通应用,适用于非N卡的用户)还需要以下组件:
python>=2.6
numpy>=1.5.0 , Scipy ,BLAS 除了BLAS以外都能在 lfd 的网站上下到,上面基本有所有你想要的包。
由于想使用 N卡,所以我经过了两天的不断挣扎,终于配置好Theano。。。尽管网上有很多简明教程,但是实际操作室还是遇到各种的问题
好吧,我承认上面那么多都是鬼扯
先说明下自己电脑的情况:
操作系统:win7 64 i7-8GB
图形显卡:N卡 型号:Quadro 600
Visual Studio 版本 2009,2010 我安装了在C:Program Files (x86)
python编辑平台:Eclipse
在开始安装和配置之前,请先准备好以下文件:
1. AnacondaCE:
这个软件的好处是会自动安装python.exe和theano的所有依赖项,同是自带了Spyder的IDE,对于电脑没装过python的人非常好,它里面集成了大量常用的组件, 下载地址:http://repo.continuum.io/archive/index.html (python2.x系列)
或 http://repo.continuum.io/anaconda3/ (python3.3系列)
(我是win7 64bit,选择Anaconda-1.4.0-Windows-x86_64.exe (python2.7.4),这个位数和以后的显卡配置有莫大关系)
2. Theano:
下载地址:https://github.com/Theano/Theano-wininstaller/raw/master/bin/theano_installer_latest.msi
这是适用于 Anaconda的快速安装版,自动使用pip安装到上面的Anaconda的python中
以防万一,为了同时下载theano的zip文件(theano-master):https://github.com/Theano/Theano ,如果上述网址的包不能使用可以下载这个 http://download.csdn.net/detail/yeyang911/7523003
3. CUDA:其中的cuda toolkit就是使用N卡代替CPU运算的组件
注意,请根据自己显卡的型号下载相应的版本,一般5.5就可以了,64位的电脑一定要下64位的,我第一次不懂下了个6.5,结果不但没能配置好,连显卡的驱动都没了。。
4. DeepLearningTutorials测试代码
这个是基于python的代码,里面用的数据库是 minst手写数据库,不过,这个下载回来的压缩包中,数据库文件校验错误,后面会谈到,所以我们还要额外下载数据库pickle
5. 测试代码的完整数据库
MNIST Dataset(mnist.pkl.gz)
6. 补充头文件关于样例代码CNN(注:运行这个GPU程序需要下载“inttypes.h","stdint.h" 这两个头文件,然后放到VS2010/VC/include
7. VS2010在网上都有得下
总的文件:
=======以上就是所有的准备工作==========================================
开始安装:(注意关掉360之类的杀软,以免误报)
step 1 : 安装 AnacondaCE,默认安装在C盘,最好也装在C盘
添加环境变量:path: C:AnacondaMinGWin;C:AnacondaMinGWx86_64-w64-mingw32lib;
添加环境变量:path: C:Program Files (x86)Microsoft Visual Studio 10.0VCin;C:Program Files (x86)Microsoft Visual Studio 10.0VCinamd64;
避免以后import 时显示找不到 "cl.exe" 以至于出现检测到安装了CUDA但gpu不可用的现象。
step 2:重启电脑,AnaconadaCE会配置 pip
step 3:安装Theano:
先应用方法1:直接安装theano_installer_latest.msi 自动安装即可。
注意,这一步可能会出现以下问题(我重新安装theano是就出现过了,想卸载和修复都不行,安装也不能选)
解决方法:或直接应用方法2:
方法2:
(1)下载theano的zip文件:https://github.com/Theano/Theano ,解压,文件里面有个theano的文件夹,拿出来放在C:/Anaconda/Lib/site-packages里面)
(2)新建环境变量: PYTHONPATH: C:AnacondaLibsite-packages heano;
(3)在home目录下(cmd可以看到,我的是C:UsersAdministrator),创建(如已经存在则修改) .theanorc.txt 文件内容如下:
保存。然后在AnacondaCE的Spyder命令行中里输入如下命令:
import theano
print theano.config.blas.ldflags
如果没有报错(无显示则正常),说明theano安装成功。
print theano.config.blas.ldflags
如果没有报错(无显示则正常),说明theano安装成功。
PS. Eclipse下的安装配置
1. 安装Eclipse
2. Eclipse中Help -> Eclipse MarketPlace中,搜索python发现PyDev并直接Install。
3. Eclipse中Window -> Preferences -> PyDev -> Interpreters -> Python Interpreter点击New,Browse中输入Anaconda根目录下的python.exe。确定。
1. 安装Eclipse
2. Eclipse中Help -> Eclipse MarketPlace中,搜索python发现PyDev并直接Install。
3. Eclipse中Window -> Preferences -> PyDev -> Interpreters -> Python Interpreter点击New,Browse中输入Anaconda根目录下的python.exe。确定。
(注意,当电脑同时安装了多个python版本时,可以将不同的python复制后重名如:python27,python33,python27_64等,添加环境变量后在cmd中使用复制的名称即可。)
最后,可以使用 官网的教程第一节来测试是否theano安装成功: http://deeplearning.net/software/theano/tutorial/adding.html
自此,python的配置以及theano的安装暂时告一段落,非N卡的同学可以不用看了,下面让我们开始无限作死的GPU配置:
setp 4:配置GPU
按照这个手把手教程配置就OK了,注意cuda的版本要和系统位数与显卡型号匹配!!!而且记得要关掉杀软否则会出现很吐血的事情,当时装着装着,驱动没了,结果变成使用内存显示,内个卡啊。。。。
step 5:修改 .theanorc.txt
为了使用GPU,我们要再次修改上面的 .theanorc.txt,将其中的内容改为:
保存。重启下。
在AnacondaCE中运行:
import theano
theano.test ( )
如果出现红线画住的输出:(感谢 http://blog.csdn.net/qiaofangjie/article/details/17172331)
congratulations!
step 6:测试DeeplearningTutorial代码
下载好上面的代码后,里面的数据库文件有错误,将 *DeepLearningTutorials-masterdata文件夹中的 原mnist.pkl.gz(约4M)替换为:
上面的补充下载,(约15M)即可
可以code运行里面时间较短的例子看看,一开始很慢,各种DEBUG和warning,后来会有正常的输出
PS. 在安装好theano和cuda之后,可能cnn,rbm等测试例子还不能跑。这时候要在vs目录C:Program Files (x86)Microsoft Visual Studio 9.0VCinclude添加inttypes.h,stdint.h这两个文件。
下面是每个例子的测试过程,时间太长了,我没有一个个试。。
到此,我们终于完成了所有的配置,enjoy it。
引用:
官网安装教程
http://blog.csdn.net/chlele0105/article/details/40557259
相关链接 懒得收藏了
https://developer.nvidia.com/cuda-toolkit-archive
https://developer.nvidia.com/cuda-toolkit-50-archive
http://docs.nvidia.com/cuda/cuda-getting-started-guide-for-microsoft-windows/index.html#verify-you-have-cuda-enabled-system
成功配置GPU的样子: