main idea:
在使用bootstrap生成gi的训练集时,会有一部分数据没有被选中,使用这一部分数据(OOB)进行validation。
1.数据没有被选中的概率
假设训练集大小为N,使用bootstrap生成N’(假设N’=N)条数据用于gi的训练(有放回抽样),则某条特定数据没有被选中的概率为:
当N很大(趋于无穷)时,大约有1/3的数据没有被选中:
称这些没有被选中的数据为OOB(out of bag)
2.使用OOB进行validation
a. 在每一条记录上做validation
黄色标注数据(Xn,yn),由于没有被用于训练g2,g3,gT,所以可以用于做这些小g的validation
b. 汇总