BDA: single parameter models

1. 贝叶斯推断（英语：Bayesian inference）是推论统计的一种方法。这种方法使用贝叶斯定理，在有更多证据及信息时，更新特定假设的概率。p(θ|y) or p( ̃y|y)

2. 如何理解 95% 置信区间？

   很多答案当中用关于真值的概率描述来解释置信区间是不准确的。我们平常使用的频率学派（frequentist）95% 置信区间的意思并不是真值在这个区间内的概率是 95%。真值要么在，要么不在。由于在频率学派当中，真值是一个常数，而非随机变量（后者是贝叶斯学派） ，所以我们不对真值做概率描述。对于这个问题来说，理解的关键是我们是对这个构造置信区间的方法做概率描述，而非真值，也非我们算得的这个区间本身。

   换言之，我们可以说，如果我们重复取样，每次取样后都用这个方法构造置信区间，有 95% 的置信区间会包含真值。然而（在频率学派当中）我们无法讨论其中某一个置信区间包含真值的概率。

   只有贝叶斯学派才会说某个特定的区间包含真值的概率是多少，但这需要我们为真值假设一个先验概率分布（prior distribution）。这不适用于我们平常使用的基于频率学派的置信区间构造方法。

   评论里的补充解释：
   换种方法说，假设我们还没有取样，但已经制定好取样后构造 95% 置信区间的方法。我们可以说取样一次以后，获得的那个置信区间（现在还不知道）包含真值的概率是 95%。然而在取样并得到具体的一个区间之后，在频率学派框架下就无法讨论这个区间包含真值的概率了。

   取样前能讨论，取样后却无法讨论，这可能让很多人感到很不自然。扩大来说，传统频率学派对已经发生，但我们不知道结果的事件的讨论存在困难。虽然这个问题通常在应用上无伤大雅，但确实有不少学者因此寻求对概率的不同解释。

   经典统计学的核心思想就是用样本去估计总体；总体的参数是未知的，不可测度或难以测度，注意它是固定了的数值；

3. conjugate prior: the prior and posterior have the same form. 
4. In Bayesian statistics, a credible interval is an interval within which an unobserved parameter value falls with a particular probability. It is an interval in the domain of a posterior probability distribution or a predictive distribution.[1] The generalisation to multivariate problems is the credible region. Credible intervals are analogous to confidence intervals in frequentist statistics,[2] although they differ on a philosophical basis:[3] Bayesian intervals treat their bounds as fixed and the estimated parameter as a random variable, whereas frequentist confidence intervals treat their bounds as random variables and the parameter as a fixed value. Also, Bayesian credible intervals use (and indeed, require) knowledge of the situation-specific prior distribution, while the frequentist confidence intervals do not.

References:

1. credible interval: https://cran.r-project.org/web/packages/bayestestR/vignettes/credible_interval.html