1 线性回归
回归就是对已知公式的未知参数进行估计。线性回归就是对于多维空间中的样本点，用特征的线性组合去拟合空间中点的分布和轨迹，比如已知公式是y=a∗x+b，未知参数是a和b，利用多真实的(x,y)训练数据对a和b的取值去自动估计。估计的方法是在给定训练样本点和已知的公式后，对于一个或多个未知参数，机器会自动枚举参数的所有可能取值，直到找到那个最符合样本点分布的参数（或参数组合）。也就是给定训练样本，拟合参数的过程，对y= a*x + b来说这就是有一个特征x两个参数a b，多个样本的话比如y=a*x1+b*x2+...，用向量表示就是y = 
，就是n个特征，n个参数的拟合问题（假设x0 与最后的偏置项写在一起）。
2 Logistic 回归
回归一般是针对输出Y为连续性变量的，当Y离散时，问题就变成了分类。
Logistic regression （逻辑回归）是当前业界常用于分类的机器学习方法，用于估计某种事物的可能性。可以简单把这个模型想象为一个服从参数为θ的概率分布，给定向量x，得到的y值就是分布函数值，最后根据分布函数值的大小来判断分类的类别。事实上这个分布也确实存在，就是Logistic 分布。
2.1 Logistic分布：
若随机变量X服从Logistic分布，则
对应的图形如下：
公式中u代表f(x)的中心位置，也是F(x)拐点的横坐标，r控制速率，r越小，F(x)的图形越陡，x的取值为实数域R，y取值为0-1，下面来看logistic模型
对输入向量，其取值也是整个x轴的，假设服从Logistic(0,1),即u=0，r=1，带入到logistic分布中有
这便是标准的logistic函数，也可用如下公式表示：
2.2二分类问题
用标签 0，1分别表示不同类别，对于训练样本x进行如下映射，便能得到一个介于0-1之间的值，对于2分类问题，该值>0.5，就分类为1，否则分类为0，该数值结余0-1之间，比如该数值是0.7，则说明了分类为1的概率是0.7，所以0.7分类为1；若为0.3，则说明分类为1的概率为0.3，也即分类为0的概率为0.7，所以最后0.3分类为0，用Y来表示类别，有：
公式2.1
所以训练好的模型也就有了参数ϴ，直接对向量x进行映射即可得到分类结果。
Logistic模型的训练
根据公式2.1，有P(Y=1|x,ϴ) = f(x),P(Y=0|x,ϴ) = 1- f(x)
则P(y|x,ϴ) = f(x)y(1-f(x))1-y,y取0或者1即对应分类为0或者1的问题
Logistic的有一个特性，首先用p表示P（y=1|x,ϴ）,则1-p表示P（y=0|x,ϴ），一个事件发生的机率（odds）定义为事件发生的概率与不发生的概率的比值。设发生的概率为p，不发生的概率为1-p，那么事件的机率是
p1−p 代入公式有
可见事件发生的对数几率为x的线性函数。
2.3 Logistic的参数
1）极大似然估计法MLE
训练过程可以采用MLE算法，求解参数ϴ
取n个训练样本极对应标签，对每个样本p(y|x,ϴ),似然函数的形式如下：
写成对数似然的形式
于是问题转变成了对l(ϴ)求极大值，另l(ϴ)最大的ϴ即为所求参数。怎么样求ϴ呢，这里可以采用梯度上升算法，因为要求得ϴ的最大值
注意g(ϴTx)的到导数g'(ϴTx)=g(ϴTx)(1 - g'(ϴTx))
对每个ϴj 均执行梯度上升即可求得最终结果ϴ，从而得到最终模型。
for each ϴj in ϴ：
2）对数损失函数
对于logistic回归的参数估计除了最大似然外，还可以定义log损失函数
可见当实际标签为1时，hϴ(x)介于(0,1)之间，-log(hϴ(x))的图形如上所示，可见hϴ(x)越大，损失函数值(-log(hϴ(x))就越小，反之对于y=0
根据损失函数的定义，J(ϴ) = 1/m(Cost(ϴ(x) , y))，并且把logistic的损失函数写到一起有：
当y=1与y=0时，分别对应了不同的损失函数，且y也只能取0或者1。
-log(1-z)的图形如右图所示，其损失函数的示意图如左图所示，这样一个数学公式，巧妙地解决了logistic的损失函数问题。
这便是是最终的损失函数，现在只要求出使得损失函数极小化的ϴ即可。因为log损失函数也为凹函数，所以可以选择梯度下降来求解，且其求解的公式类似于liner regression。
顺带提一下除了Graident Descent之外，还有其他的优化算法：
分别为共轭梯度下降法(CGD)，拟牛顿法(BFGS)与L-BFGS。求缺点如上所示。
2.4 决策边界：
下图为sigmod函数的图形，当ϴTx>0时，有g（ϴTx）>0.5,则可预测为类别1.
可见要把ϴTx映射到sigmod函数里，它就对应了一个决策边界，因为sigmode函数为0.5对应了一个阈值，可以看下面线性决策边界示意图。
下面为非线性决策边界的示意图：
哎，这个线性不可分数据的参数是怎么来的呢？ 请听下回分解。
2.5 线性不可分时的处理
2.6多分类问题
如果y不是在[0,1]中取值，而是在K个类别中取值，这时问题就变为一个多分类问题。有两种方式可以出处理该类问题：一种是我们对每个类别训练一个二元分类器（One-vs-all），当K个类别不是互斥的时候，比如用户会购买哪种品类，这种方法是合适的。如果K个类别是互斥的，即 y=i 的时候意味着 y 不能取其他的值，比如用户的年龄段，这种情况下 Softmax 回归更合适一些。举个例子，判断一些动物的图片，并且将其归类为老鹰、鸟类，这种情况下，one -vs-all的分类方法是对老鹰和鸟类分别建立参数模型，从而老鹰也可以被分到鸟类，而softmax老鹰和鸟类根本不会分到一个类别，所以说softmax适用于对互斥类别的分类。Softmax 回归是直接对逻辑回归在多分类的推广，相应的模型也可以叫做多元逻辑回归（Multinomial Logistic Regression）。
one-vs-all 法
假设有n个类别，则为每个类别与其他类别的组合建立一个关于参数ϴ的模型，这样就会有n个参数向量ϴ1...ϴN,分别套用每个参数向量方程，选取属于类别1-N中可能性最大的一个即可。如下所示：
Softmax Regression
在softmax回归中，首先给定训练样本
，这时分类标签y不再只取0-1，而是有
，比如在MNIST手写识别数据库，有0-9 这10个数字，所以需要k=10
对输入x
3 总结
logistic在分类的同时，会给出其可能性，比如某用户买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。（注意这里是：“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和，而非直接相乘），logistic回归会给出一个分类的数值，此数值介于0-1之间，比如预测一个女生是否喜欢你，它不像SVM那样直接给出0或者1，而是给出0.4，0.6这样的数值，这样就会知道喜欢的程度，很多情况下我们需要回归产生一个类似概率值的0~1之间的数值（比如某一双鞋子今天能否卖出去？或者某一个广告能否被用户点击? 我们希望得到这个数值来帮助决策鞋子上不上架，以及广告展不展示）。这个数值必须是0~1之间，于是引入了Logistic方程，来做归一化。这里再次说明，该数值并不是数学中定义的概率值。
那么既然得到的并不是概率值，为什么我们还要费这个劲把数值归一化为0~1之间呢？归一化的好处在于数值具备可比性和收敛的边界，这样当你在其上继续运算时（比如你不仅仅是关心鞋子的销量，而是要对鞋子卖出的可能、当地治安情况、当地运输成本 等多个要素之间加权求和，用综合的加和结果决策是否在此地开鞋店时），归一化能够保证此次得到的结果不会因为边界 太大/太小 导致 覆盖其他feature 或 被其他feature覆盖。（举个极端的例子，如果鞋子销量最低为100，但最好时能卖无限多个，而当地治安状况是用0~1之间的数值表述的，如果两者直接求和治安状况就完全被忽略了）这是用logistic回归而非直接线性回归的主要原因。到了这里，也许你已经开始意识到，没错，Logistic Regression 就是一个被logistic方程归一化后的线性回归，仅此而已。至于所以用logistic而不用其它，是因为这种归一化的方法往往比较合理（人家都说自己叫logistic了嘛 呵呵），能够打压过大和过小的结果（往往是噪音），以保证主流的结果不至于被忽视。
3.1 Logistic Regression的适用性
1） 可用于概率预测，也可用于分类。
并不是所有的机器学习方法都可以做可能性概率预测（比如SVM就不行，它只能得到1或者-1）。可能性预测的好处是结果又可比性：比如我们得到不同广告被点击的可能性后，就可以展现点击可能性最大的N个。这样以来，哪怕得到的可能性都很高，或者可能性都很低，我们都能取最优的topN。当用于分类问题时，仅需要设定一个阈值即可，可能性高于阈值是一类，低于阈值是另一类。
3） 各feature之间不需要满足条件独立假设，但各个feature的贡献是独立计算的。
逻辑回归不像朴素贝叶斯一样需要满足条件独立假设（因为它没有求后验概率）。但每个feature的贡献是独立计算的，即LR是不会自动帮你combine 不同的features产生新feature的 (时刻不能抱有这种幻想，那是决策树,LSA, pLSA, LDA或者你自己要干的事情)。举个例子，如果你需要TF*IDF这样的feature，就必须明确的给出来，若仅仅分别给出两维 TF 和 IDF 是不够的，那样只会得到类似 a*TF + b*IDF 的结果，而不会有 c*TF*IDF 的效果。
参考文献：
http://blog.sina.com.cn/s/blog_890c6aa301015mya.html
http://www.cnblogs.com/guyj/p/3800519.html
http://blog.csdn.net/songrotek/article/details/41310861
http://dataunion.org/17006.html
http://blog.csdn.net/han_xiaoyang/article/details/49123419
Andrew Ng讲义
《统计学习方法》#Logistic一章