• 初识机器学习——吴恩达《Machine Learning》学习笔记(一)


    Machine Learning的定义

           AI发展出来的一个领域,计算机开发的一项新功能

            定义一:

            在没有明确设置的情况下,使计算机具有学习能力的研究领域。                          ——Samuel(1959)

            定义二:

            一个适当的学习问题定义如下:计算机程序从经验E中学习解决某一任务T进行某一性能度量P,通过P测定在T上的表现因经验E而提高。                                                                                                              ——Tom Mitchell(1998)   

    Machine Learning的应用领域

            1.数据挖掘(Database mining)

                ——Web click data,medical records,biology,engineering

            2.无法手动编写的程序(Applications can't program by hand)

                ——自然语言处理(NLP),计算机视觉(Computer Vision),手写识别(handwriting recognition),自动化(Autonomous)

            3.个性化推荐(self-customizing programs)

                  ——商品推荐

            4.AI:像人类一样学习(Understanding human learning(brain,real AI))

    Machine Learning算法分类

            1.监督学习(Supervised learning)

            2.无监督学习(Unsupervised learning)

            3.强化学习(Reinforcement learning)

            4.推荐系统(recommender systems)

    机器学习算法之——监督学习(Supervised learning)

            定义:监督学习是指我们给算法一个数据集,其中包含了“正确答案”,算法的目的是给出更多正确的答案。即根据数据进行结果预测,分为回归(Regression)问题和分类(Classification)问题

            回归(Regression):预测一个连续值的输出(即具体的数值)

            分类(Classification):预测一个离散值的输出(0 or 1),分类的结果可能有多种(1,2,3,4,and so on)

    机器学习算法之——无监督学习(Unsupervised learning)

         定义:无监督学习(聚类算法),将所给的数据进行分簇,事先并没有给出分簇的规则,即没有给出“正确的答案”,这里不同于监督学习。(告诉计算机,这是一堆数据,我不知道这些数据是什么,不知道是什么类型以及有哪些类型的数据,你能自动找出这些数据的结构吗?你能自动按得到的类型把这些数据分成簇吗?)

          应用:大型计算机集群、社交网络分析、市场分析、天文数据分析

          聚类只是无监督学习中的一种,比如还有,鸡尾酒会问题算法

    机器学习例子之——房价预测

           模型(model):

                m——表示训练样本的数量(Number of training examples)

                 x——表示输入变量(‘input’variable or features)

                 y——表示输出变量(‘output’variable or features)

               (x,y)——表示一个训练样本(one training example)

    单变量线性回归(Univariate linear regression)

    假设函数(Hpothesis):

    代价函数(Cost Function):

        ——其意义在于找到假设函数的最佳参数,从而确定最佳的假设函数。代价函数又称为平方误差函数,或者平方误差代价函数,这是解决线性回归问题常用的函数。这里需要用到均方误差(square error cost function),所以,需要回去好好复习均方误差。

    均方误差(square error cost function):

        定义:表示参数预估值与参数真值之差平方的期望值,记为MSE。机器学习中它经常被用于表示预测值和实际值相差的程度。

        数学表达式:

        

      梯度下降(Gradient descent):

        定义:梯度下降是迭代法中的一种,可以用于求解最小二乘问题。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。反过来,如果我们需要求解损失函数的最大值,这时就需要用梯度上升法来迭代了。在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法。(百度百科)

    等高线图:将三维的空间图转化为二维图形求两个参数下的代价函数最小值。不同的梯度下降起始点可能会得到不同的局部最优点。

    梯度下降算法:

        目的:寻找代价函数最小时的参数

        方法:找到梯度最大的方向

        结果:局部最优解

        注意:同步更新

  • 相关阅读:
    前端模板Nunjucks简介
    git提交时支持文件名大小写的修改
    多行文本加省略号的处理方法
    前端性能优化实践方案总结
    使用gulp工具生成svgsprites
    koa简介
    JSX语法简介
    踩坑所引发出的appendChild方法的介绍
    React业务实践
    javascript--数组
  • 原文地址:https://www.cnblogs.com/haifengbolgs/p/9274251.html
Copyright © 2020-2023  润新知