利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值，是一种给定观察数据来评估模型参数的方法。
设 $X_{1},X_{2},X_{3},...X_{n}$ 是来自总体 $X$ 的简单随机样本，$x_{1},x_{2},x_{3},...x_{n}$ 为样本的观察值(样本值)，$ heta_{1}, heta_{2}, heta_{3},... heta_{k}$ 为待估参数。
现在我们希望得到一个只关于参数 $ heta_{i}$ 的一个函数，这个函数能表征该样本结果发生的概率，从而我们通过研究这个函数，得到概率最大时，
参数 $ heta_{i}$ 的取值，这个取值就作为模型参数的估值。
如何得到表征样本结果发生概率的函数呢？
1. 总体 $X$ 为离散型
$X$ 的概率分布为：
$$Pleft { X = x_{k} ight } = p_{k}( heta),k = 1,2,3,...$$
由于 $X_{1},X_{2},X_{3},...X_{n}$ 和总体具有相同的分布，所以
$$Pleft { X_{i} = x_{i} ight } = Pleft { X = x_{i} ight }, i = 1,2,3,...,n$$
所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率为
$$Pleft { X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n} ight } = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight }$$
这一概率随 $ heta$ 的取值而变化，它是 $ heta$ 的函数，记为 $L( heta)$，该函数称为样本的似然函数，即
$$L( heta) = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight }$$
2. 总体 $X$ 为连续型
设 $X$ 的概率密度为 $f(x; heta)$，连续型随机变量没有点概率，采用的是极限逼近的手段，这里不再赘述，可得它取某一个样本点的概率近似为
$$Pleft { X = x_{i} ight } = f(x_{i}; heta)dx_{i}, dx_{i} > 0$$
所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率近似为
$$Pleft { X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n} ight } = prod_{i=1}^{n}Pleft { X_{i} = x_{i} ight } = prod_{i=1}^{n}f(x_{i}; heta)dx_{i},dx_{i} > 0$$
由于 $dx_{i} > 0$，且非 $ heta$ 函数，所以似然函数为
$$L( heta) = prod_{i=1}^{n}f(x_{i}; heta)$$
求极大似然函数估计值的一般步骤：
1）根据总体的分布，写出似然函数：$L(x_{1},x_{2},x_{3},...x_{n}; heta_{1}, heta_{2}, heta_{3},... heta_{k})$。函数 $L$ 是关于 $ heta_{i}$ 的多元函数。
2）如有必要，则对似然函数取对数，并整理。
3）多元函数求极值，当函数值最大时，即样本发生概率最大时，所对应的 $ heta_{i}$ 就是解。