假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, ... , xN)。统计学中的一个典型问题是“样本集 X 能告诉我们关于分布 q 的什么信息？”。
参数统计方法假设 q 属于一个参数分布族，并且存在一个参数 θ，其中 q(x) 等于所有 x 的参数分布 p(x|θ)；例如，p(.|θ) 可以是具有单位方差的正态分布，其中 θ 表示平均值。在这种情况下，问题是“X 告诉我们关于 q 的什么？”或者说“如果我们有 q = p(.|θ) 的参数 θ，X 告诉我们什么呢？”。
回答这个问题的贝叶斯方法是使用概率论规则并假设 θ 本身是具有先验分布 p(θ) 的随机变量。先验分布 p(θ) 是我们在观察任何样本之前对 θ 的假设和猜测的形式化。在这种前提下，我们可以将参数和数据的联合概率分布写在一起：
利用这个公式，X捕捉到的关于θ的所有信息都可以总结为后验分布
贝叶斯统计是自洽且优雅的：一切都可以使用概率论的规则自然推导出来的，而且假设总是明确且清晰的。但是它通常看起来很神秘和令人费解：（i）我们能从后验分布 p(θ|X) 中真正学到什么关于底层分布 q 的信息？还有（ii）如果我们的假设不成立，例如，如果 q 不属于我们考虑的参数族，该信息的可靠性如何？
在这篇文章中，我们将对这两个问题进行解释。分析样本数量 N 很大时后验分布的渐近形式——这是研究贝叶斯推理的常用方法。然后，我展示了一般理论如何适用于高斯族的简单情况。最后，在三个案例研究中，我使用模拟和分析，后验分布如何与数据的底层分布相关，以及随着N的增加，这个链接如何变化。¹。
完整文章：
https://avoid.overfit.cn/post/64a7c99a768c44c7842c8c9c8b2e13d4