一：分类
（一）分类基础
在分类问题中，你要预测的变量y是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。
在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。
我们从二元的分类问题开始讨论。（当然存在多分类问题，例如y可以取到 0，1，2，3这几个值）
我们将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量 ，其中 0 表示负向类（没有某项东西）:良性肿瘤，1 表示正向类（含有某项东西）：恶性肿瘤。
（二）对比线性回归
我们对数据集建立线性模型，得到线性回归函数。同时设置一个阈值y_0=0.5，此时x_0对应y_0,当x<x_0时，则返回0，当x>x_0则返回1。
上面解释似乎很合理，但是当我们出现下面的数据集分布时：
重新建立线性模型，导致原本属于正向类的数据，被划分到负向类中。
因此，不建议将线性回归用于分类问题。
如果我们要用线性回归算法来解决一个分类问题，对于分类， y取值为 0 或者1，但如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于0，即使所有训练样本的标签y都等于 0 或 1。尽管我们知道标签应该取值0 或者1，但是如果算法得到的值远大于1或者远小于0的话，就会感觉很奇怪。
所以我们在接下来的要研究的算法就叫做逻辑回归算法，这个算法的性质是：它的输出值永远在0到 1 之间。
顺便说一下，逻辑回归算法是分类算法，我们将它作为分类算法使用。有时候可能因为这个算法的名字中出现了“回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签y取值离散的情况，如：1 0 0 1。
二：假说表示
（一）模型引出
我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。
逻辑回归模型的假设是：
其中：X表示特征向量，g表示逻辑函数，是一个常用的逻辑函数（为S形函数Sigmoid function)
Sigmoid function公式：
当z趋于正无穷，g(z)--->1。当z趋于负无穷，g(z)--->0。因此g(z)再(0,1)之间。
因此，完整的逻辑回归模型如下：
（二）参数θ拟合数据
当我们拿到一个数据集，我们需要给参数选定一个值。假说模型会帮我们做出预测。
三：决策边界
（一）假设函数的属性---决策边界
决策边界这个概念能更好地帮助我们理解逻辑回归的假设函数在计算什么。
在逻辑回归中，我们预测：
根据上面绘制出的 S 形函数图像，我们知道：
现在假设我们有一个模型：
并且假设我们拟合好了参数，参数θ是向量[-3 1 1].则当-3+x_1+x_2>=0，即x_1+x_2>=3时，模型将预测y=1。
我们可以绘制直线x_1+x_2=3,这条线便是我们模型的分界线，将预测为1和预测为0的区域分开。
这条洋红色线，被称为决策边界。具体地说，这条直线x_1+x_2=3。它对应h(x)=0.5的区域。
决策边界，也就是这条直线将整个平面分成了两部分，其中一片区域假设函数预测y等于1，而另一片区域假设函数预测y等于0。
决策边界是假设函数的一个属性：
它包括参数θ_0 θ_1 θ_2。
即便我们去除这个数据集之后：
这条决策边界，以及我们预测y=1,与y=0。他们都是假设函数的属性，决定于其参数θ_j，而不是数据集的属性（不同于线性回归）
当然，我们后面还将讨论如何拟合参数，那时，我们将使用训练集，使用我们的数据来确定参数的取值。
但是，一旦我们有确定的参数取值，有确定的θ0 θ1 θ2，我们就将完全确定决策边界。
这时，我们实际上并不需要在绘制决策边界的时候，绘制训练集。
（二）复杂数据集
给定一个这样的训练集，我们如何使用逻辑回归来拟合这些数据？
早些时候，当我们谈论多项式回归或者线性回归时，我们谈到可以添加额外的高阶多项式项，同样我们也可以对逻辑回归使用相同的方法。
添加了两个额外的特征，x_1方和x_2方。并且我现在有5个参数，θ_0到θ_4。
假设我们以及拟合了参数θ_j是[-1 0 0 1 1]
这样我们就可以获得决策边界：
因此，通过增加这些复杂的多项式特征变量，可以得到更复杂的决定边界，而不只是用直线分开正负样本。
再次强调：决策边界不是训练集的属性，而是假设本身及其参数的属性。我们不是用训练集来定义的决策边界，而是用训练集来拟合参数θ
四：代价函数---拟合逻辑回归模型的参数θ
如何自动选择参数θ，使我们能在给定一个训练集时，我们可以根据数据自动拟合参数θ。
（一）原始代价函数
具体来说，我要定义用来拟合参数的优化目标或者叫代价函数，这便是监督学习问题中的逻辑回归模型的拟合问题。
对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将
带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数non-convexfunction。
这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
相应的，我们希望我们的代价函数J(θ)是一个如下的凸函数：
所以我们对这个凸函数使用梯度下降法，就可以确保一定可以收敛到该函数的全局最小值。
但是由于我们中间的的h(x)函数是非线性的，就导致了代价函数是非凸函数。
（二）修正后的代价函数
我们重新定义逻辑回归的代价函数为：
推导-log(h(x)):
注意：，所以h(x)的取值范围在(0,1)之间。
全部-log(h(x))和-log(1-h(x))表示：
因为是分类（逻辑回归），所以y取值只有y=1和y=0两种，每种对应一个cost方法。
则h(x)和cost(h(x),y)之间的关系如下图所示：
上图是y=1的情况下，cost代价值（纵轴）和h(x)预测值（横轴）之间的关系。
其性质是：
当预测值是h(x)=1,实际标签值y也是为1，那么cost代价值则为0。
但是当预测值是0，实际标签值是1，那么cost代价值是∞大，这就说明我们的预测是错误的，那么我们就用非常非常大的代价值来惩罚这个学习算法。
是y=0的情况下，cost代价值（纵轴）和h(x)预测值（横轴）之间的关系。
当预测值是h(x)=0,实际标签值y也是为0，那么cost代价值则为0。
但是当预测值是1，实际标签值是0，那么cost代价值是∞大，这就说明我们的预测是错误的，那么我们就用非常非常大的代价值来惩罚这个学习算法
（三）将y=1和y=0的cost函数合并，简化
将构建的cost(h(x),y)简化如下：（不再单独区分y=0和y=1)
带入代价函数得到：
即：
补充：这是由最大似然函数来的，是一个凸函数
（四）代码实现cost
import numpy as np def cost(theta, X, y): theta = np.matrix(theta) X = np.matrix(X) y = np.matrix(y) first = np.multiply(-y, np.log(sigmoid(X* theta.T))) second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T))) return np.sum(first - second) / (len(X))
其中，h(x)如下：是一个sigmod函数，传参为X*theta.T
五：梯度下降法---为训练集拟合出来参数θ
在得到这样一个代价函数以后，我们便可以用梯度下降算法来求得能使代价函数最小的参数了。
算法为：
求导后得到：
注：虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样，但是这里的
与线性回归中不同，所以实际上是不一样的。
推导过程：
所以：
另外，在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。特征缩放依旧适用于逻辑回归。
六：高级优化
（一）梯度下降法
一些高级优化算法和一些高级的优化概念，利用这些方法，我们就能够使通过梯度下降，进行逻辑回归的速度大大提高，而这也将使算法更加适合解决大型的机器学习问题，比如，我们有数目庞大的特征量。 现在我们换个角度来看什么是梯度下降:
我们有个代价函数J(θ),而我们想要使其最小化，那么我们需要做的是编写代码，当输入参数θ时，它们会计算出两样东西：J(θ)以及J等于 0、1直到n时的偏导数项。
梯度下降所做的就是反复执行这些更新,从而来更新参数θ。
（二）其他高级算法
然而梯度下降并不是我们可以使用的唯一算法，还有其他一些算法，更高级、更复杂。
如果我们能用这些方法来计算代价函数J(θ)和偏导数
两个项的话，那么这些算法就是为我们优化代价函数的不同方法。
共轭梯度法，BFGS (变尺度法) 和L-BFGS (限制变尺度法) 就是其中一些更高级的优化算法，它们需要有一种方法来计算J(θ），以及需要一种方法计算导数项。
然后使用比梯度下降更复杂的算法来最小化代价函数。这三种算法的具体细节过于麻烦，这里只需要了解一些他们的特性：
一个是使用这其中任何一个算法，你通常不需要手动选择学习率α ，所以对于这些算法的一种思路是：
给出计算导数项和代价函数的方法，你可以认为算法有一个智能的内部循环。
而且，事实上，他们确实有一个智能的内部循环，称为线性搜索(line search)算法，它可以自动尝试不同的学习速率α ，并自动选择一个好的学习速率α，
因此它甚至可以为每次迭代选择不同的学习速率，那么你就不需要自己选择。
这些算法实际上在做更复杂的事情，而不仅仅是选择一个好的学习率，所以它们往往最终收敛得远远快于梯度下降。
而且我们往往不需要特别去了解算法的内部细节（太复杂），就可以很好的使用他，到各种应用场景
举例使用：
如果想用高级优化算法里的一个，来最小化代价函数。如果我们不知道最小值在(5,5)时取到，但是还想要找到最小值。
我们可以使用梯度下降法，但是最好用比它更加高级的算法。
该Octave 函数实现了这样一个代价函数，比如costFunciton(theta)----返回两个自变量：
第一个是jVal:它是我们要计算的代价函数
第二个是梯度值，梯度值应该是一个2×1的向量，梯度向量的两个元素对应这里的两个偏导数项
运行这个costFunction 函数后，你就可以调用高级的优化函数，这个函数叫 fminunc，它表示Octave 里无约束最小化函数。
你要设置几个options，这个 options 变量作为一个数据结构可以存储你想要的options。
所以 GradObj 和On，这里设置梯度目标参数为打开(on)，这意味着你现在确实要给这个算法提供一个梯度，然后设置最大迭代次数。
比方说100，我们给出一个θ的猜测初始值，它是一个2×1的向量，那么这个命令就调用fminunc，这个@符号表示指向我们刚刚定义的costFunction 函数的指针。
如果你调用它，它就会使用众多高级优化算法中的一个，当然你也可以把它当成梯度下降，只不过它能自动选择学习速率α，你不需要自己来做。
然后它会尝试使用这些高级的优化算法，就像加强版的梯度下降法，为你找到最佳的θ值。
当有一个很大的机器学习问题时，选择这些高级算法，而不是梯度下降。有了这些概念，你就应该能将逻辑回归和线性回归应用于更大的问题中，这就是高级优化的概念。
七：多元分类---一对多
使用逻辑回归 (logistic regression)来解决多类别分类问题
（一）案例
（二）二元分类和多分类对比
二元分类问题，我们的数据看起来可能是像这样：
对于一个多类分类问题，我们的数据集或许看起来像这样：
我们现在已经知道如何进行二元分类，可以使用逻辑回归，对于直线或许你也知道，可以将数据集一分为二为正类和负类。
用一对多的分类思想，我们可以将其用在多类分类问题上。
下面将介绍如何进行一对多的分类工作，有时这个方法也被称为"一对余"方法。
现在我们有一个训练集，好比上图表示的有3个类别，我们用三角形表示y=1，方框表示y=2，叉叉表示y=3 。
我们下面要做的就是,将这个训练集，将其分成3个独立的二元分类问题。
我们先从用三角形代表的类别1开始，实际上我们可以创建一个，新的"伪"训练集，类型2和类型3定为负类，类型1设定为正类，我们创建一个新的训练集，如下图右侧所示的那样，我们要拟合出一个合适的分类器。
这里的三角形是正样本，而圆形代表负样本。可以这样想，设置三角形的值为1，圆形的值为0，下面我们来训练一个标准的逻辑回归分类器，这样我们就得到一个正边界。
这里的h_θ(x)上标(1)代表类别1，我们对三角形类别1进行上面这样的处理。
同样对类别2进行同样的处理：将方形样本设置为正样本，其他为负样本，以此来拟合第二个逻辑回归分类器h_θ^(2)(x):
这里的h_θ(x)上标(2)代表类别2，我们对方形类别2进行上面这样的处理。
同样，设置叉型为类别3：
总结：
为了能实现这样的转变，我们将多个类中的一个类标记为正向类（y=1）,
然后将其他所有类都标记为负向类，这个模型记作:
----计算在给定x和θ时，y的值为1的概率。
接着，类似地第我们选择另一个类标记为正向类（y=2），再将其它类都标记为负向类，将这个模型记作:
依此类推。最后我们得到一系列的模型简记为：（一系列分类器）
每个分类器都针对其中一种情况进行训练。
总之：我们训练了一个逻辑回归分类器
，预测i类别y=i的概率。
最后为了做出预测，我们给出一个新的输入值x,期望获得预测。我们要做的就是在我们三个分类器里面输入x,
然后我们选择一个让
最大的i,即
。选出三个当中，可信度最高，效果最好的那个分类器。
无论i值是多少，我们都能得到一个最高的概率值，我们预测就是那个值。
这就是多类别分类问题，以及一对多的方法，通过这个小方法，你现在也可以将逻辑回归分类器用在多类分类的问题上。
最后，在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。