1: LSTM结构推导,为什么比RNN好?
答案:推导forget gate,input gate,cell state, hidden information等的变化;因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的,RNN是叠乘,因此LSTM可以防止梯度消失或者爆炸;
2:梯度消失爆炸为什么?
答案:略
3:为什么你用的autoencoder比LSTM好?
答案:我说主要还是随机化word embedding的问题,autoencoder的句子表示方法是词袋方法,虽然丢失顺序但是保留物理意义;(?)
4: overfitting怎么解决:
答案:dropout, regularization, batch normalizatin;
5:dropout为什么解决overfitting,L1和L2 regularization原理,为什么L1 regularization可以使参数优化到0, batch normalizatin为什么可以防止梯度消失爆炸;
答案:略
6: 模型欠拟合的解决方法:
答案:我就说到了curriculum learning里面的sample reweight和增加模型复杂度;还有一些特征工程;然后问了常用的特征工程的方法;
7:(简历里面写了VAE和GAN还有RL,牛逼吹大了)VAE和GAN的共同点是什么,解释一下GAN或者强化学习如何引用到你工作里面的;
答案:略
传统机器学习
1:SVM的dual problem推导;
2:random forest的算法描述+bias和variance的分解公式;
3:HMM和CRF的本质区别;
4:频率学派和贝叶斯派的本质区别;
5:常用的优化方法;
6: 矩阵行列式的物理意义(行列式就是矩阵对应的线性变换对空间的拉伸程度的度量,或者说物体经过变换前后的体积比)