噪声的来源：
1、noise in y
2、noise in x
在有noise的情况下，vc bound还会work么？？？
之前，x ~ p(x) 现在 y ~ P( y | x )
在hoeffding的部分，只要 (x, y) 联合分布满足某个分布， 结果是一致的。
error measure:
打分衡量f和g的距离
1、out-of-sample
2、pointwise：evaluate on one x
Ein = mean(yHat - y)
Eout = 在概率空间上的积分
false accept & false reject
影响error measure函数。哪怕是同样的模型，如果不是同样的场合，都会有问题。
有的时候错误衡量很困难。比如指纹错了究竟有多大问题？
friendly的假设：
1、closed-form solution
2、凸函数
weighted classification
假设在支持向量机上面犯了错误。不比有几个错误，比的是错误函数，可以么？不可以，因为不一定会收敛！
正确做法是错误的点 *1000倍，认为错了1000次。