结构化机器学习项目
一
ML项目流程
1,确立目标(确定开发/测试集 + 唯一最优化指标)
确定开发/测试集:开发/测试集应尽可能接近将来应用场景中的数据。
划分数据集:开发集和测试集大小足以评估模型表现即可。
1、正交化
正交化:每次调整对某一性能进行针对性调试和优化,更快地发现影响效应,从而进行综合性的优化。
一个好的模型最好能够同时在训练集,验证集,测试集和实际应用中表现良好,如果:
情况 解决办法
在训练集上表现不好 尝试更大的神经网络或者使用更好的优化算法(如Adam)
在验证集上表现不好 尝试获取更多的训练数据或者加入正则化
在测试集上表现不好 同验证集优化或者使用更有代表性的验证集(如加大数量)
在实际应用上表现不好 没有使用合适的测试集或者代价函数的评估指标不合理,调整测试集或者代价函数