• 看这里!带你快速体验MindSpore V1.0(For ubuntu 18.04)


    摘要: 本文介绍了如何在Ubuntu 18.04上安装CPU版本的MindSpore V1.0。并使用安装好的MindSpore进行了LeNet的模型训练。

    Part One:引言

    在HC2020大会中,张小白就透露出了想试玩MindSpore V1.0的愿望。MindSpore是华为开发的一款深度学习的开源框架,今天这个愿望就要实现了。。。

    先来分析下该怎么玩转。。。让我们看下  官网的介绍文档:

    体验MindSpore V1.0 的方式有N种

    官方文档也很不错,给大家提供了选择,然后分别告诉你该怎么玩。。。

    首先,硬件平台为Ascend910的,一般人就别选了。这是需要买华为的昇腾服务器的人才能玩的。而且,张小白的Atlas 200DK都玩不了。。因为那只是Ascend 310芯片。。不过,倒是可以在ModelArts上选择这个环境。但是,ModelArts上面,这些环境都内置好了,其实用户也体验不到安装和折腾的快感了。(我们的座右铭是——我折腾、我快乐)。

    其次,硬件平台为GPU CUDA的,有好显卡的人可以上。什么叫做好显卡。举个例子吧。最近即将出来的 GeForce RTX 3080显卡,

    或者比它更高端的3090显卡:

    用这些卡去做AI训练,跑MindSpore,可能没啥问题。。。否则,你可能会觉得慢。。。当然,张小白也没有这些好显卡。。。所以,退而求其次,只能选择CPU的方式了。。。

    选中了CPU之后,你可以选择的操作系统就不多了。。。包含:

    (1)ubuntu aarch64,这个是ARM芯片的ubuntu系统,典型的就是鲲鹏相关服务器。。。当然,200DK的运行系统也是这个系统。张小白有没有鲲鹏台式机或者笔记本,显然没有。当然,希望华为或者荣耀赶紧推出这一型号的笔记本。。倒是可以让用户尝试一下。。。

    (2)ubuntu x86,这个是x86芯片的ubuntu系统。这个范围可就大了去了。要么,你可以直接在台式机或笔记本上安装原生的ubuntu系统(搞什么双启动之类的),也可以使用虚拟化软件安装ubuntu虚拟机。这个就作为笔者这篇文章的操作系统吧。

    (3)windows x64,这个很简单,就是x86芯片(但是需要64位的,其实前面也都是64位的。。)的windows系统。比如windows10之类的。这个用台式机或者笔记本都可以试。windows的好处是,不仅仅可以选择cpu模式,如果你有个好的显卡,还可以选择gpu模式。不过显然张小白不是土豪。其实windows这块的体验已经有大大们试过了。这里暂时不提。

    我们看下面:Python版本必须是3.7.5,这个没有办法选择。

    安装方式有Pip和Source这两种。显然,Pip的安装方式应该比较快,Source即源码安装,这个方法,其实张小白还在折腾中,也不知道是否能折腾出结果。。。

    那么,我们就用上面的这一条线:版本1.0.0+硬件CPU+操作系统Ubuntu-X86+Python3.7.5+安装方式pip当作本次MindSpore V1.0的安装方式吧。。

    前面的链接下介绍了系统安装的环境要求:

    其中requirements.txt内容如下:

    numpy >= 1.17.0, <= 1.17.5
    protobuf >= 3.8.0
    asttokens >= 1.1.13
    pillow >= 6.2.0
    scipy >= 1.3.3
    easydict >= 1.9
    sympy >= 1.4
    cffi >= 1.13.2
    wheel >= 0.32.0
    decorator >= 4.4.0
    setuptools >= 40.8.0
    matplotlib >= 3.1.3         # for ut test
    opencv-python >= 4.1.2.30   # for ut test
    sklearn >= 0.0              # for st test
    pandas >= 1.0.2             # for ut test
    bs4
    astunparse
    packaging >= 20.0

    Part Two:安装Ubuntu 18.04虚拟机

    先到  下载 18.04的镜像。。

    找到并下载 

    使用VMWare安装,选择“简易安装”,一路走下去(把内存改为4G),顺利完成。

    使用ascend用户登录:(当初安装时选择的用户名)

    进入系统,记得不帮助Ubuntu就对了。。

    也不要升级:

    替换国内阿里源:

    sudo cp /etc/apt/sources.list /etc/apt/source.list.bk

    vi /etc/apt/sources.list

    注释现有所有的deb

    贴入以下内容:

    # 阿里源
    deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
    deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
    deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

    保存退出。

    sudo apt update

    sudo apt-get update

    sudo apt-get install aptitude

    Part Three:安装Python3.7.5

    在python官网已经找不到 3.7.5了,所以估计只能选择源码安装了。。。

    好在在华为云的镜像站有 

    复制地址,打开新的teminal,下载吧。。。

    wget 

    解压:

    xz -d Python-3.7.5.tar.xz

    tar xvf Python-3.7.5.tar

    。。。

    python安装源码包搞定。

    为了编译源码,我们做一些准备工作,比如安装gcc和g++:

    sudo aptitude install gcc

    耐心的等待结束:

    sudo apt install gcc

    sudo apt-get install g++

    编译器搞定,接着装python的依赖包:

    sudo apt-get install -y build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev

    。。。

    正式编译安装Python-3.7.5

    切换Python-3.7.5目录

    sudo ./configure --enable-optimizations --prefix=/usr/python3

    指定安装后的python放到 /usr/python3目录下。

    。。。

    sudo make

    耐心等待。。。

    有400多个test要做。。

    继续耐心等待。。。

    然后部署。。

    sudo make install

    切换到安装目录,查看版本:

    在/etc/profile加入/usr/python3/bin的PATH,并执行,这样可以在任何地方都可以优先执行python 3.7.5

    好了,Python 3.7.5源码编译完成。

    Part Four:PIP安装MindSpore

    终于可以激冻人心的进入到MindSpore的安装过程了。

    为了确保是在3.7.5环境的pip下安装,

    执行 python3 -m pip install 

    当然了。。出点问题也算正常的。。

    好像是装decorator时遇到了权限问题。

    那我们换成root用户装吧。。。

    python3 -m pip install 

    很快就秒装完毕,也没任何出错:

    然后进入python验证下安装结果:

    PIP安装MindSpore的过程真的很简单。

    Part Five:使用Mindspore进行LENET训练

    首先到mindspore gitee官网下载lenet的相关示例代码:

    然后打开 http://yann.lecun.com/exdb/mnist/ 网页:

    将链接中这四个文件下载到本地,并放入前面下载好的lenet下新建的MNIST_DATA目录下。

    并且,用winrar解压,分别将train开头的文件和t10k开头的文件放入train和test目录下。

    然后,把这些代码打包成lenet.zip,使用scp工具(如Xftp 6),传输到ubuntu 18.04中:

    然后执行unzip lenet.zip解压。

    就可以在ubuntu下看到这些文件了。

    当然,这些过程也可以直接在ubuntu中做。。比如使用wget直接下载训练集文件等等。

    接着,为了保险起见,暂时先用root执行吧。。(怕ascend用户执行又有什么权限问题。。。)

    cd /home/ascend/lenet/

    vi train.py

    将device_target的default改为CPU。将data_path设成 MNIST_DATA目录。其余暂时保持不变:

    然后开始跑训练吧。。。

    python3 train.py

    一会儿就跑完了。。。

    并且在ckpt下会生成一些文件。。。

    回到上层目录,执行:

    python3 eval.py --ckpt_path=./ckpt/checkpoint_lenet-10_1875.ckpt

    执行验证成功,模型的精度为98.7580%。。。

    说明使用mindspore在跑lenet这些例程还是比较顺利的。

    参考资料:

    (1)[干货分享] Mindspore 1.0初体验  @JeffDing

    (2)[干货分享] 体验MindSpore v1.0(一)——安装篇  @Tianyi_Li

     

     

    点击关注,第一时间了解华为云新鲜技术~

  • 相关阅读:
    使用合理jQuery选择器查找DOM元素
    DOM对象和jQuery对象
    jQuery实现返回顶部
    行内元素,块级元素
    图片自适应缩放
    幽灵按钮
    background-attachment:fixed
    RegExp
    正则
    Date
  • 原文地址:https://www.cnblogs.com/huaweiyun/p/13809914.html
Copyright © 2020-2023  润新知