【cs229-Lecture2】Gradient Descent 最小二乘回归问题解析表达式推导过程及实现源码（无需迭代）

视频地址：http://v.163.com/movie/2008/1/B/O/M6SGF6VB4_M6SGHJ9BO.html

机器学习课程的所有讲义及课后作业：http://pan.baidu.com/s/1i3xcljJ

视频前半部分讲了梯度下降算法的迭代过程求的局部最小值，后半部分介绍了利用数学方法给出参数向量的解析表达式，从而求出参数的值，也就是一种无需迭代的方法。

由于PC上编辑不太方便，以下推导过程我会尽可能详细地呈现在草稿纸上，其实视频中AndrewNg已经讲解的很详细了，其实我也只是在看了推导过程之后，自己完全独立地推导了一遍，毕竟自己亲自有动笔了，印象自然深刻。如有不对之处，请指正。

我觉得，当我们表示出J(θ)的表达式后，就已经可以把问题转化为多元函数的极值问题了，因此，也就出现了下面中要求偏导数，以及要设偏导数为0的步骤。而这里之所以会涉及到线代的知识，是因为线代可以用来简化运算，矩阵的表示的优雅。

1、定义新符号；

2、给出5个定理；

3、把问题转化为数学计算；

说明：m代表数据量（即有多少行数据）；n代表特征个数（从x0~xn，其中x0恒等于1）

1、定义新符号：

2、给出5个定理；

3、把问题转化为数学计算；

 noIteration.java(导入jama包)

package noIteration;

import java.io.IOException;
import java.util.List;

import Jama.Matrix;

public class noIteration{
    
    public static List<Data> DS;
    public static int m;
    
    public static double[][] initX(){
        double[][] x =new double[m][2];
        int m=DS.size();
        for(int i=0;i<m;i++){
            x[i][0]=DS.get(i).x[0];
            x[i][1]=DS.get(i).x[1];
        }
        return x;
    }
    
    public static double[][] initY(){
        double[][] y = new double[m][1];
        int m=DS.size();
        for(int i=0;i<m;i++){
            y[i][0]=DS.get(i).y;
        }
        return y;
    }
    
    public static void main(String[] args) throws IOException{
        
        DS=new DataSet().ds;        
        m=DS.size();
        
        double[][] x=initX();
        double[][] y=initY();
        Matrix mtx=new Matrix(x);
        Matrix mty=new Matrix(y);
        Matrix mtxT=mtx.transpose();
        Matrix ans=(mtxT.times(mtx)).inverse().times(mtxT).times(mty);
        for(int i=0;i<2;i++){
            System.out.print("   theta ["+i+"] : "+ans.get(i, 0));
        }
    }
}

总结：这个算式，简直美丽极了！