紧接上一讲的Break Point of H。有一个非常intuition的结论,如果break point在k取到了,那么k+1, k+2,... 都是break point。
那么除此之外,我们还能获得那些讯息?
这里举了一些例子,核心就是说下面的事情
简言之,如果H有Break Point k,那么当N大于k的时候,mH(N)会大大地缩减(对于binary classification来说是pow(2, N) )。
按照这个思路,自然就想知道,既然mH(N)会大大缩减,能缩减到啥程度?(如上图猜测,能否所见到N的polynomial的形式呢?)
接下来,引出了Bounding Function的概念:
这个概念的提出,就是为了看N个样本点,Break Point为k,到底能把mH(N)缩减到啥程度的?
另外,这里的B(N,k)只与N和k有关,与具体的假设集合H无关.
比如,在binary classification这个问题下,无论是positive intervals还是1D perceptrons,这个Bounding Function都是一样的。
现在的问题是怎么给Bounding Function的形式了。
根据下面几页PPT的内容:
猜测得出了Bounding Function的一个上界(本来Bouding Function就是一个上界了,这次得出的上界的上界)
这里我们看到了,Bounding Function的上界终于出现了我们喜欢的Polynomial的形式。
因此,得到了结论,只要Break Point存在,则mH(N)一定能够被一个多项式Bound住。
这里再明确一次:B(N,k)叫Bounding Function,是为了Bound住mH(N)(叫Growth Funciton)而生的;到了上面这块,我们找到的是Bounding Fucntion的一个上界,这个上界是一个关于N和k的多项式形式的式子;结论就是用Bounding Function的上界Bound住了Growth Function。
==================================================================
上面讲了一大堆,最后就是说mH(N)是可以在某种条件下(Break Point k)被Bound住的。这跟机器学习有啥关系呢?现在回到Hoeffding不等式的union bound形式
这里一个直观的想法就是,既然已经找到了mH(N)的上界( 被B(N,k)的上界Bound住了 ),那直接带进Hoeffding不等式不就行了么。
这里忽略了Eout(h)是无限个。。。。
因此,第一步需要把Eout(h)给换成有限个,如下:
这里没有做严格的证明,只给了直观的解释:假设还有一笔资料D‘(数量也为N),sample的结果为Ein';那么Ein与Eout发生BAD则,很可能Ein与Ein'也发生了BAD。
这里暂时记住,这一步用了有限代替无限,并做了一个放缩吧先。
第二步,把假设集合H分类。
利用第一步的结果,再直观想象下:为了产生Ein',硬是多了N个样本点;那么此时Growth Function mH(N)中的‘N’自然就变成了‘2N’了
第三步,再用一下前人的智慧,想办法套Hoeffding Without Replacement
变换后就成了:原来有个2N个sample,现在抽了N个sample出来;这N个sample跟原来2N个sample的真实情况相比,发生BAD的概率是多少呢?
这就变成了很像Hoeffding不等式的条件,但这里的区别是无放回抽样,变成了Without Replacement;但最后的结果是不影响的
上面三步之后,得到了最后的Vapnik-Chervonenkis(VC) bound:
再回顾一下2D perceptron:
Break Point : k=4
mH(N) : O (N³)
因此2D perception由VC dimension理论可知,是可以从数据中学到东西的。