概念学习和一般到特殊序
Concept Learning and the General-To-Specific Ordering
1 简介
1.1 定义
概念学习(Concept Learning):考虑的问题是,给定一样例集合以及每个样例是否属于某一概念的标注,怎样自动推出该概念的一般定义。
定义:从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。
1.2 概念学习任务
EnjoySport的例子:
1.3术语定义
实例(instance)
目标概念(target concept):待学习的概念或函数,记为c。
训练样例(training examples)
正例(positive example)反例(negative example)
所有可能假设(all possible hypotheses)
2假设的一般到特殊序(General-to-Specific Ordering of Hypotheses)
More_general_than_or_equal_to:
3 Find-S:寻找极大特殊假设
考虑表2.1的例子:
Find-S算法简单地忽略每一个反例。
4 变型空间和候选消除算法The Candidate-Elimination Algorithm
4.1 表示
一致(Consistent)
变型空间(version space)
4.2 列表后消除算法the List-Then-Eliminate Algorithm
4.3 变型空间的更简洁表示
一般边界(general boundary)
特殊边界(specific boundary)
变型空间
4.4 候选消除算法Candidate-Elimination Learning Algorithm
5.5 算法举例
5 归纳偏置Inductive Bias
归纳偏置(inductive bias):由于归纳学习需要某种形式的预先设定。
参考材料:Machine Learing, Tom M.Mitchell