机器学习包含监督学习、非监督学习、以及强化学习三大部分。
监督学习分为分类和回归两大类。
分类：例如 经过大量水果图片训练，识别新水果图片中是否含有苹果
回归：例如 经过大量 面积-房价 的数据的训练，预测某个面积的房价
回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。
B是参数，X是变量
如果Y与B和X都是线性关系，则称它是双线性模型
否则为非线性模型
例如下面就是非线性模型
有的非线性模型可以通过适当的变换，转化成线性模型，有的不可以，例如上面的那个例子就不行。
可以简单粗暴地做如下区分：
通过指数来进行判断即可，线性就是每个变量的指数都是1(一次方)，为直线，
非线性就是至少有一个变量的指数不是1，为曲线。
简单线性回归：只包括一个自变量和一个因变量，都为一次方（指数为1），且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归或者简单线性回归。
多元线性回归：如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
拟合方程：最小二乘法
非线性回归
遇到非线性回归问题可以借助数学手段化为线性回归问题处理。
处理方法：
可线性化问题
处理可线性化处理的非线性回归的基本方法是，通过变量变换，将非线性回归化为线性回归，然后用线性回归方法处理。假定根据理论或经验，已获得输出变量与输入变量之间的非线性表达式，但表达式的系数是未知的，要根据输入输出的n次观察结果来确定系数的值。按最小二乘法原理来求出系数值，所得到的模型为非线性回归模型(nonlinear regression model)。
不可线性化问题
梯度下降法
详细可参照：
https://wenku.baidu.com/view/8128c024ae1ffc4ffe4733687e21af45b307fe31.html?rec_flag=default&sxts=1543149787329
https://wenku.baidu.com/view/b2281e22dc36a32d7375a417866fb84ae45cc3ca.html?rec_flag=default&sxts=1543149835023
https://baijiahao.baidu.com/s?id=1584987292368219016&wfr=spider&for=pc