论文: Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion
我们都知道实现AutoML的基本思路是不断选取不同的超参数组成一个网络结构，然后使用这个网络结构在整个数据集上进行评估 (假设评估值为(f_H(X)=mathcal{L}(δ,D^{train},D^{valid})),X表示某一组超参数) ，最后选择出评估性能最好的网络参数。
但是基于full dataset进行评估cost太大，所以很自然地想到基于一部分数据集进行评估，假设此时的评估结果是(f_L(X)=mathcal{L}(δ,D^{sub}_{r_L},D^{valid})),其中(D^{sub}_{rL})表示从训练集中以(r_L)的比例抽取数据。但是这样又存在另外一个问题，那就是基于一部分数据集进行评估得到的结果往往是不准确的，那怎么办呢？下面进行一波分析：
令(R(X)=f_H(X)-f_L(X)),用来衡量(f_H)与(f_L)之间的残差(residual)。所以如果我们能够得到(R(X))，那么我们就能够用(R(X)+f_L(X))来代替需要花费大量算力的(f_H(X)),那么怎么得到(R(X))呢？
本文为了求得(R(X))提出了Transfer Series Expansion (TSE),该方法就是通过学习一系列的基预测器，并将他们线性组合得到了最终的预测器，预测结果即为(R(X))。公式如下:
由公式(1)可以知道我们需要构造出(k)个基预测器，换句话说我们需要k个不同的数据集，数据集可以表示为(D^{predictor}={(x_1,y_1),...,(x_m,y_m)}),其中(y_i=R(x_i))。很显然为了得到(y_i)还是得花费不少代价。所以作者提出了一个折中的办法就是令(y_i=R(x_i)=f_M(x_i)-f_L(x_i)),其中(f_M)表示介于(f_L)和(f_H)之间的评估，也就是说以(r_M(0<r_L<r_M<<1))的比例从训练集中抽取出数据进行模型的评估。(文中并没有详细介绍如何构造基预测器，只是说使用Random Forest Regressor，所以这里不再对基预测器如何构造进行说明。)。
所以用来构建k个基预测器的数据集对即为({(D^{sub1}_{r_L},D^{sub1}_{r_M}),...,(D^{subk}_{r_L},D^{subk}_{r_M})})，注意((D^{sub1}_{r_L},D^{sub1}_{r_M}))转变成一组用于生成基预测器的数据集(D^{predictor})。除此以外其实还需要构造({(D^{sub}_{r_L},D^{train})})用于最后的回归问题。所以实际上随机初始化(k)个(D^{sub}_{r_M})和(k+1)个(D^{sub}_{r_L})。
好了现在假设基预测器都构建好了，那么就可以进入正式的TSE算法步骤了，算法如下：
未完待续...
