deep learning 练习 多变量线性回归

                                                     多变量线性回归（Multivariate Linear Regression）

作业来自链接：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex3/ex3.html

这次的多变量线性回归问题，输入特征向量X是二维的，一个维度表示房间面积，一个维度表示房间数量，输出Y是房子的价格。

这一次试着自己找了一下合适的学习速率和迭代次数

合适的学习速率通过看损失函数J()的下降曲线来判断

其中损失函数这样计算：

                                 合适的损失函数下降曲线该是这样：

在线法进行迭代的时候，大约200次就会很好的收敛到真值。

而离线法的计算公式为：

可以很精确的计算出回归模型的参数。

作者多次提醒，在线法计算的时候，需要对各个维度的数据进行归一化，这样大大有利于参数收敛，可以很快的收敛到真值附近。

                   而离线算法是精确的求解线性方程组，不需要数据预处理，只需要特征向量X拓展一个截距项就行。

                 但是-------离线算法需要求解矩阵的逆，当数据量较大的时候，这个方法就不适合了。

clc 
clear all;
close all;
x = load('ex3x.dat');%加载数据
y = load('ex3y.dat');
%%%%--------------------数据预处理----------------------%%%%%%
m = length(y); 
x = [ones(m, 1), x];

theta2=(x'*x)^(-1)*x'*y;%%%%%%%%%%%%--离线算法计算---%%%%%%%%%%

sigma = std(x);%取方差
mu = mean(x);%取均值
x(:,2) = (x(:,2) - mu(2))./ sigma(2);%归一化
x(:,3) = (x(:,3) - mu(3))./ sigma(3);%归一化

theta = zeros(size(x(1,:)))'; % initialize fitting parameters
alpha = 0.08; %% Your initial learning rate %%
J = zeros(50, 1); %初始化损失函数

for num_iterations = 1:500
    J(num_iterations) = 1/2/m*sum(x*theta-y)^2;%批量梯度下降 
    theta = theta-alpha./m.*x'*(x*theta-y);%% 参数更新
end
% now plot J
% technically, the first J starts at the zero-eth iteration
% but Matlab/Octave doesn't have a zero index
figure;
plot(0:49, J(1:50), '-')
xlabel('Number of iterations')
ylabel('Cost J')

x_test=[1,1650,3];%测试样本
y2=x_test*theta2   %------离线算法结果测试

x_test(2) = (x_test(2) - mu(2))./ sigma(2);%归一化
x_test(3) = (x_test(3) - mu(3))./ sigma(3);%归一化

y1=x_test*theta  %-------在线迭代算法结果测试