Online Choice of Active Learning Algorithms
基于SVM 的Active Learning Algorithm
(1) SIMPLE
query the instance closest to the decision hyperplane(in kernel space)
(2) SELF-CONF
This algorithm chooses its next example to be labeled while attempting to reduce the generalization error probability. Since true future error rates are unknown, the learner attempts to estimate them using a "self-confidence" heuristic that utilizes its current classifier for probability measurements.
作者提出的思想是如何有效地结合这两种算法。"Our main contribution is an algorithm that actively learns by combining active learners".
作者接着指出聚合Active-learning algorithm的常规思路，评估每一个算法的性能并且动态地切换到最佳性能的算法。但是这种聚合方法存在两个难题，（1）标准的分类器评估技术，例如 cross-validation, leave-one-out, or bootstrap 应用于Active learner时倾向于失败。主要原因是一个好的Active learner所选择的标注样本倾向于是那些hard instances。（2）即使我们克服了第一个问题，每次我们只能看到一个expert对样本进行标注。
作者提出使用maximum entropy semi-supervised criterion, 它可以利用未标注的样本，其次我们将我们的问题看做是一个multi-armed bandit problem, 其中每一个专家对应于一个slot machine 并且在每次试验中我们被允许play one machine(这也就是说，选择一个Active-learning algorithm 来产生下一个query)。我们然后使用一个已知的online multi-armed bandit algorithm proposed by Auer et at.(2002)。
Active Learning
我们首先考虑一个二分类问题。给定一个为标注的数据池
。每一个instance 都有一个标签
（在本文中
）。开始时，没有标签已知。在Active Learning的每一阶段，我们让
是对于这个Learner已知的标注样本。一个Active learning 是由一个分类学习算法
和一个
（其是一个映射
）组成。这个querying function 决定在未标注样本池中的一个未标注样本让teacher来标注。在每次试验
中，the active learner 应用
来从未标注样本池
中选择一个未标注样本。然后这个样本交给teacher进行标注，从而将标注样本对
添加到
中，并且将
从
中除去。然后使用所有标注数据分类学习算法产生一个新的 classifier 
。在这篇文章中，分类学习算法是SVM。
也就是说， 
对于三个Active-Learning Algorithms的描述
1. Algorithm SIMPLE
在第t次试验中，the querying function of SIMPLE 使用当前的分类器
来选择一个未标注样本，这个未标注样本离当前这个分类器的决策面最近。
直观认识上，这个所选择的未标注样本是对当前分类器来说最不确定的那个样本。
2. Algorithm SELF-CONF
The algorithm chooses its next example to be labeled while "directly" attempting to reduce future generalization error probability.
在每次试验开始时，这个算法持有一个概率形式分类器
。对于每个
，这个算法训练一个新的分类器
，并且估计下面这个式子
self-estimated expected log-loss
然后，对于每个
，计算self-estimated average expected loss
那个有最低的
的
被选择。
3. Algorithm Kernel Farthest-First (KFF)
用于k-center problems。
（1）对于任一点，找到距离其最远点
（2）找到距离前两个点的最远点
然后用这些点作为center的初始位置，然后进行k-clustering
如何将FF的策略映入到Active Learning框架中呢？给定当前的标注数据集
，我们在未标注数据集
中找到距离
最远的那个样本作为下一个需要标注的样本。
上面这张图表明了对于不同的实际情况，不同的Active-Learning Algorithm较优。
将聚合Active-Learning Algorithm的问题类比于Multi-Armed Bandit Problem。
Active-Learning Algorithm 对应于 slot machine
the true accuracy achieved using the augmented training set 对应于 the gain achieved by the chosen machine
如何定义一个 query 的 reward呢？
最佳的reward应该是使用the augmented training set达到的 true accuracy, 但是这个true accuracy对于我们是不知道的。因此我们需要想个别的办法来估计它。
注意作者是如何设计 the gain of the instance 
Classification Entropy Maximization(CEM)
Specifically, 如何C是一个binary classifier，其给出
。让
分别是未标注数据集
的positive 和 negative 集。那么对于
CEM分数为
It is not difficult to see that the CEM score is larger if the division of the division of the pool classification between classes is more balanced. CEM的这种表现在作者的许多empirical examinations中都有体现，更为惊讶的是对于正样本和负样本不平衡时，CEM也能成功地评估性能。
至于为什么作者有较详细地描述？后续。
Combining Active Learners Online
