基础理论-极大似然

官方解释

求未知参数点估计的一种重要方法。思路是设一随机试验在已知条件下，有若干个结果A，B，C，…，如果在一次试验中A发生了，则可认为在已知条件下最有利于A发生，

故应按照已知条件选择分布的参数，使发生A的概率最大。

通俗理解

1. 极大似然是用来求某种分布的参数的方法。那怎么求呢？

2. 在某种情况（模型已知，参数已定）下，我们通过做实验，甚至可以多做几次实验，看看实验结果，我们希望发生的事情发生了没，如果没发生，说明我们实验的方法不对（不能这么搞，说明前提（假设的分布）错了），

如果发生了，看看结果是什么样的，我们的目标是想办法让这个结果尽可能发生，也就是让这个结果发生的概率最大。

极大似然的前提是样本独立同分布。

此时 P(AB)=P(A)P(B)

实例

有一个罐子，里面有黑白两种球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请

问罐中白球所占的比例最有可能是多少？

很多人马上就有答案了：70%。而其后的理论支撑是什么呢？

我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。

这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。

 P(样本结果|Model)=P⁷⁰(1-P)³⁰

重点：这里要注意，实验结果70白30黑这件事，是在我们假设的情况下发生的，而这件事其实是真实的，我们要做的是让这件事尽可能发生，即发生的概率接近1，那么怎么尽可能发生，就是调整我们的分布参数。

事情尽可能发生，就是发生的概率最大，就是求P的导数

  (P⁷⁰(1-P)³⁰)'

=70P⁶⁹(1-P)³⁰+30P⁷⁰(1-P)²⁹*(-1)

=10P⁶⁹(1-P)²⁹(7(1-P)-3P)

=10P⁶⁹(1-P)²⁹(7-10P)

=0

P=0.7 正解

极大似然牵扯的东西挺多的，后期再更新吧