https://www.bilibili.com/video/av94519857?p=1
1. 课程介绍
分类、回归、生成
监督、无监督、强化学习
可解释AI、对抗攻击、网络压缩
异常检测(知道自己不知道)
迁移学习(训练和测试的数据分布不同)
Meta Learning(学习如何学习, Learn to learn)
Life long learning,Continuous Learning
2. 课程规则和环境
3. Regression
为什么regularization项不考虑bias?
因为regularization是为了让模型拟合的函数更加平滑,而影响平滑的因素主要是weight,所以不需要考虑bias。
4. 基础概念,bias(偏差/均值)和variance(方差)
为什么简单模型的variance小?
简单模型受采样数据影响更小。
为什么复杂模型的bias小?
复杂模型的function space更大,更有可能找到接近target function的函数(数据越多越可能找到)。
underfitting,large bias,重新设计更复杂模型,增加features,增大function space;
overfitting,large variance,增加数据,增加正则项;
public testing set / private testing set