• 【Theory of Generalization】林轩田机器学习基石


    紧接上一讲的Break Point of H。有一个非常intuition的结论,如果break point在k取到了,那么k+1, k+2,... 都是break point。

    那么除此之外,我们还能获得那些讯息?

    这里举了一些例子,核心就是说下面的事情

    简言之,如果H有Break Point k,那么当N大于k的时候,mH(N)会大大地缩减(对于binary classification来说是pow(2, N) )

    按照这个思路,自然就想知道,既然mH(N)会大大缩减,能缩减到啥程度?(如上图猜测,能否所见到N的polynomial的形式呢?)

    接下来,引出了Bounding Function的概念:

    这个概念的提出,就是为了看N个样本点,Break Point为k,到底能把mH(N)缩减到啥程度的?

    另外,这里的B(N,k)只与N和k有关,与具体的假设集合H无关.

    比如,在binary classification这个问题下,无论是positive intervals还是1D perceptrons,这个Bounding Function都是一样的。

    现在的问题是怎么给Bounding Function的形式了。

    根据下面几页PPT的内容:

    猜测得出了Bounding Function的一个上界(本来Bouding Function就是一个上界了,这次得出的上界的上界)

    这里我们看到了,Bounding Function的上界终于出现了我们喜欢的Polynomial的形式。

    因此,得到了结论,只要Break Point存在,则mH(N)一定能够被一个多项式Bound住。

    这里再明确一次:B(N,k)叫Bounding Function,是为了Bound住mH(N)(叫Growth Funciton)而生的;到了上面这块,我们找到的是Bounding Fucntion的一个上界,这个上界是一个关于N和k的多项式形式的式子;结论就是用Bounding Function的上界Bound住了Growth Function

    ==================================================================

    上面讲了一大堆,最后就是说mH(N)是可以在某种条件下(Break Point k)被Bound住的。这跟机器学习有啥关系呢?现在回到Hoeffding不等式的union bound形式

    这里一个直观的想法就是,既然已经找到了mH(N)的上界( 被B(N,k)的上界Bound住了 ),那直接带进Hoeffding不等式不就行了么。

    这里忽略了Eout(h)是无限个。。。。

    因此,第一步需要把Eout(h)给换成有限个,如下:

    这里没有做严格的证明,只给了直观的解释:假设还有一笔资料D‘(数量也为N),sample的结果为Ein';那么Ein与Eout发生BAD则,很可能Ein与Ein'也发生了BAD

    这里暂时记住,这一步用了有限代替无限,并做了一个放缩吧先。

    第二步,把假设集合H分类。

    利用第一步的结果,再直观想象下:为了产生Ein',硬是多了N个样本点;那么此时Growth Function mH(N)中的‘N’自然就变成了‘2N’了

    第三步,再用一下前人的智慧,想办法套Hoeffding Without Replacement

    变换后就成了:原来有个2N个sample,现在抽了N个sample出来;这N个sample跟原来2N个sample的真实情况相比,发生BAD的概率是多少呢?

    这就变成了很像Hoeffding不等式的条件,但这里的区别是无放回抽样,变成了Without Replacement;但最后的结果是不影响的

    上面三步之后,得到了最后的Vapnik-Chervonenkis(VC) bound:

    再回顾一下2D perceptron:

    Break Point : k=4

    mH(N) : O (N³)

    因此2D perception由VC dimension理论可知,是可以从数据中学到东西的。

  • 相关阅读:
    【推荐】微服务分布式企业框架Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis
    将WCF寄宿在托管的Windows服务中
    剑指Offer
    剑指Offer
    Entity Framework 无法对没有主键的视图映射实体的解决办法
    设置Sql Agent运行Job时的执行账户
    IE中Keep-Alive机制引起的错误
    Ajax错误 “SCRIPT7002: XMLHttpRequest: 网络错误 0x2ef3, 由于出现错误 00002ef3 而导致此项操作无法完成” 的归纳总结
    在IIS站点中Adomd.net集成认证账号问题
    出现“不能执行已释放的Script代码”错误的原因及解决办法
  • 原文地址:https://www.cnblogs.com/xbf9xbf/p/4589479.html
Copyright © 2020-2023  润新知