参考
主要参考的
https://blog.csdn.net/zouxy09/article/details/8537620
定义
在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。
设总体X服从分布P(x；θ)（当X是连续型随机变量时为概率密度PDF，当X为离散型随机变量时为概率分布PMF ）；θ为待估参数；X1,X2,…Xn是来自于总体X的样本，x1,x2…xn为样本X1,X2,…Xn的一个观察值，则样本的联合分布（当X是连续型随机变量时为概率密度，当X为离散型随机变量时为概率分布）
$$L（θ）=L（x1,x2,…,xn；θ）=ΠP（xi；θ）$$称为似然函数，其中θ是一个列向量。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率。
概率与似然函数：
“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性。
但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。
概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
$P（X|θ）=ΠP（xi|θ）$表示在参数θ条件下，抽样X的概率（θ、X已知，求概率P（X|θ））。
$L（θ）=ΠP（xi；θ）$表示抽样X关于θ的似然函数（θ未知，X已知，通过抽样X的结果估算θ）。
注：P（X|θ）不是条件概率，因为θ不是随机变量。极大似然函数
极大似然函数的思想
当p(xi)大时，抽取xi最多；相应的，抽取xi多，说明p(xi)最大。
即：似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。
$hat{ heta}=argmax(p(x; heta))$，$hat{ heta}$为最大似然估计量，关于$hat{ heta}$的分布模型更合理。
极大似然函数估计值的一般步骤
1、模型假设，服从某种分布，分布参数为$ heta$；
2、写出相应的似然函数，取对数（通常$p(x; heta)$值较小，连乘容易造成浮点数下溢，log单调函数，不改变似然函数的增减趋势）；
$f(θ)=log(L(θ))\=log(ΠP(xi；θ))\=sum_{i}log(P(xi；θ))$
3、$hat{ heta}=argmax(f( heta))$，最优化求解，最优化算法采用EM算法。
极大似然函数估计值求解算法
$hat{ heta}=argmax(f( heta))$
只有一种分布时，最优化求解可用简单的牛顿等常规的迭代法求解（一阶导为0）
有2种或两种以上分布时，由于每一个xi所属的分布yi未知，即P(xi；θ，yi)未知、θ未知
但是，当知道分布yi，就可以计算出相应的θ；
当知道θ，就可确定xi具体属于哪一种分布。
所以需要用EM算法来估计参数θ，EM算法通常作为牛顿迭代法（Newton-Raphson method）的替代，用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计。