• 使用Colaboratory的免费GPU训练神经网络


    1 Colaboratory 介绍

    Colaboratory 是一个 Google 研究项目,旨在帮助传播机器学习培训和研究成果。它是一个 Jupyter 笔记本环境,不需要进行任何设置就可以使用,并且完全在云端运行。

    2 搭建 Colaboratory

    打开谷歌,使用邮箱登陆你的 Google 账号。(没有帐号的使用邮箱注册一个就行)

    登录 Google 账号之后,在页面右上角的 Google 应用里就可进入云端硬盘里

    进入 Google 云端硬盘之后,需要关联 Colaboratory。点击我的云端硬盘 -> 更多 -> 关联更多应用。然后,搜索并找到 Colaboratory,然后关联。(我已经关联了 Colaboratory,所以展示的已经存在Colaboratory)

    3 使用 Colaboratory

    3.1 准备

    关联 Colaboratory 之后,新建文件夹(以 app 为例)。

    进入 app 文件夹,空白处右键点击更多 -> Colaboratory,即可创建 Jupyter Notebook。

    通过点击文件名实现重命名,例如重命名为 test.ipynb。

    配置 Colaboratory,这一步非常重要也是非常强大的。点击修改 -> 笔记本设置。

    选择使用 Python 2 还是 Python 3。更重要的,可以选择使用 GPU 硬件加速。设置完毕后点击保存。

    查看GPU是否在colab中

    import tensorflow as tf
    tf.test.gpu_device_name()
    

    如果结果为空,则不能使用GPU;如果结果为/device:GPU:0,则可以使用GPU。

    查看显卡内存使用上限

    from tensorflow.python.client import device_lib
    device_lib.list_local_devices()
    

    3.2 运行基本代码

    3.3 运行.py文件

    先运行下面这些代码,来安装必要的库、执行授权。

    !apt-get install -y -qq software-properties-common python-software-properties module-init-tools
    !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
    !apt-get update -qq 2>&1 > /dev/null
    !apt-get -y install -qq google-drive-ocamlfuse fuse
    from google.colab import auth
    auth.authenticate_user()
    from oauth2client.client import GoogleCredentials
    creds = GoogleCredentials.get_application_default()
    import getpass
    !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
    vcode = getpass.getpass()
    !echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
    

    运行的时候应该会看到下图所示的结果,看见那个链接之后,点击它,复制验证码并粘贴到文本框里。

    授权完成后,就可以挂载Google Drive了!

    !mkdir -p drive
    !google-drive-ocamlfuse drive
    

    注:这个时候输入!ls可能看不到根目录drive,找不到drive就找不到我们云盘的文件!解决办法是,键入下边的代码:

    from google.colab import drive
    drive.mount('/content/drive/')
    

    点击出现的链接,在链接中复制验证码,在链接下方输入验证,显示Mounted at /content/drive/即为成功。

    将想要执行的mnist_cnn.py文件上传到位于Google云端硬盘上的app文件夹。然后使用cd切换到app文件夹下,键入如下命令。

    !python3 mnist_cnn.py 
    

    对于将代码或者数据集文件传到google云盘上,建议安装Google备份与同步软件!

    4 补充

    安装Keras:

    !pip install -q keras
    import keras
    

    安装PyTorch:

    !pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
    import torch
    

    安装OpenCV:

    !apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
    import cv2
    

    安装其他库:

    用!pip install或者!apt-get install命令。
  • 相关阅读:
    [Oracle]如何为数据库设置Event(eg: ORA-00235)
    [Oracle]如何为数据库设置Event(eg: ORA-00235)
    C++常用字符串分割方法实例汇总
    C++常用字符串分割方法实例汇总
    C#学习笔记——常量、字段以及事件
    xgqfrms™, xgqfrms® : xgqfrms's offical website of GitHub!
    xgqfrms™, xgqfrms® : xgqfrms's offical website of GitHub!
    xgqfrms™, xgqfrms® : xgqfrms's offical website of GitHub!
    混淆电路Garbled Circuit介绍
    安全计算实现方法概览
  • 原文地址:https://www.cnblogs.com/Terrypython/p/10824370.html
Copyright © 2020-2023  润新知