• 深度学习-初识深度学习-笔记


     传统机器学习与深度学习

      尽管深度学习在学习能力上优于传统的机器学习,但是深度学习中仍有机器学习的影子,深度学习的理论是离不开传统的机器学习的。比如线性模型,卷积核,ReLU激活函数,softmax等,这些都应用在深度学习中的神经网络中。下面简单介绍一下传统机器学习与深度学习的对比。

    传统机器学习建立过程

    数据预处理              特征提取                      选择分类器

    归一化

    降维

    去噪

    人工设计模式

    图像:SIF, LBP, Fisher, Gabor,Hog

    语言:MFCC, 小波, Word2vec

    SVM, 决策树,随机森林,贝叶斯网络,线性回归,聚类

    深度学习建立过程

    数据准备               设计模型                          训练

    数据,label

    CNN, RNN  CNN+RNN

    调结构 损失函数 训练参数

    深度学习应用特点

    优点:

      学习能力强,覆盖范围广,适应性好,可移植性好(例如迁移学习)

    缺点:

      计算量大,便携性差,硬件需求高,模型设计复杂,有可能被“hack” – 有可能将某些图案识别成别的物体,长于计算,弱于算计

    深度学习框架比较

    框架

    语言

    文档资料

    CNN兼容

    RNN兼容

    上手难易

    速度

    并行支持

    Keras兼容

    支持团队

    Theano

    Python/C++

    ++

    ++

    ++

    +

    ++

    +

    +

    蒙特利尔大学

    Tensor Flow

    Python

    +++

    +++

    ++

    +++

    ++

    ++

    +

    Google

    Torch/Pytorch

    Lua, Python

    +

    +++

    ++

    ++

    +++

    ++

    Facebook

    Caffe

    C++

    +

    ++

    +

    +

    +

    贾杨清,加州伯克利

    MXNet

    Python,R,Julia

    ++

    ++

    +

    ++

    ++

    +++

    +

    李沐,陈天奇等,Amazon

    Neon

    Python

    +

    ++

    +

    +

    ++

    +

    Intel

    CNTK

    C++

    +

    ++

    +++

    +

    ++

    +

    Microsoft

    TensorFlow

    文档丰富,适合初学者,安装非常方便,谷歌支持,长期有效,自动求导,只需关注模型设计,Keras支持,方便迅速开发。

    TensorFlow的具体应用可以看一下中文的一些网站比如TensorFlow中文社区http://www.tensorfly.cn/tfdoc/how_tos/overview.html,还有c语言中文网的http://c.biancheng.net/tensorflow/,当然也可以学习英文的相关文档。

    深度学习基本概念的了解

      人工神经网络又叫神经网络,是借鉴了生物神经网络的工作原理形成的一种数学模型。神经网络是机器学习诸多算法中的一种,它既可以用来做有监督的任务,如分类、视觉识别等,也可以用作无监督的任务。同时它能够处理复杂的非线性问题,它的基本结构是神经元,如下图所示:这是简单的神经元只有一层

     

     其中,x1、x2、x3代表输入,中间部分为神经元,而最后的hw,b(x)是神经元的输出。整个过程可以理解为输入——>处理——>输出。

      由多个神经元组成的就是神经网络:它由输入层,隐藏层和输出层组成,如下图是鸢尾花数据集经过训练的结果,当然此图是盗用别的博客的:

    卷积核是图像处理的基本算子,卷积神经网络将卷积核应用到了神经网络中,可以从下图了解一下卷积的大概过程:

     接下来就是对深度学习开始系统的学习一番了。

     

     

     

  • 相关阅读:
    项目管理改进实践
    Abount StoneAge Dictionary Project
    词库引擎核心设计
    JDOM / XPATH编程指南
    2007年图灵奖揭晓
    pjscrape: A webscraping framework written in Javascript, using PhantomJS and jQuery
    centos install node.js
    Posts tagged pyqt4
    install python262 写得不错
    WebSPHINX: A Personal, Customizable Web Crawler
  • 原文地址:https://www.cnblogs.com/yang901112/p/11828150.html
Copyright © 2020-2023  润新知