这份是本人的学习笔记，课程为网易公开课上的斯坦福大学公开课：傅里叶变换及其应用。
中心极限定理（Central Limit Theorem）
中心极限定理，简称CLT。大多数概率事件，当有足够多的取样时，都服从高斯分布。（Most probabilities – some kind of average – are calculated or approximated as if they are determined by a Gaussian.）
标准正态（高斯）分布
在傅里叶变换中，我们用$f = e^{-pi t^2}$作为标l准高斯函数，因为它的正逆傅里叶变换都是$e^{-pi t^2}$。对中心极限定理来说，标准正态分布的密度函数（probability density function）是
$p(x) = frac{1}{sqrt{2pi}} e^{frac{-x^2}{2}}$
采用这个式子作为标准正态分布的原因是它的均值（期望值）是0，它的标准差与方差为1。
对应地，概率函数为
$Prob(a leqslant X leqslant b) = displaystyle{int_a^b p(x) dx = frac{1}{sqrt{2pi}}int_a^b e^{-frac{x^2}{2}}dx }$
设有随机变量$X$，$X$为统称，$X$的实际测量值为$x$，$x$的概率密度函数记为$p(x)$。
对于任意$x$，都有
$p(x) geqslant 0$
$x$在$a$到$b$之间的概率为
$Prob(a leqslant x leqslant b) = displaystyle{int_a^b p(x)dx }$
总概率为1
$Prob(-infty leqslant x leqslant infty) = displaystyle{int_{-infty}^{infty}p(x)dx = 1 }$
分布与卷积的关系
假设有两个独立的随机变量：$x_1$，$x_2$，其密度函数分别为$p_1(x_1)$，$p_2(x_2)$。那么$x_1+x_2$的密度函数为$p_{12}(x_{12})$，它与$p_1(x_1)$、$p_2(x_2)$有什么关系呢？
求解过程如下：
设有任意变量$t$，$x_1+x_2 leqslant t$的概率记为$Prob(x_1+x_2 leqslant t)$。我们画以下坐标图像辅助分析
$Prob(x_1+x_2 leqslant t)$意为坐标落在阴影部分的概率
$Prob(x_x+x_2 leqslant t) = displaystyle{iint_{x_1 + x_2 leqslant t} p_1(x_1)p_2(x_2)dx_1dx_2 }$
进行变量代换，令$u=x_1$，$v=x_1+x_2$，则
$left{egin{matrix}
x_1 &= &u\
x_2 &= &v - u\
t &= &v
end{matrix}
ight.$
进行变量代换后，对应的新平面（$u$，$v$平面）如下
计算如下
$egin{align*}
Prob(x_1+x_2 leqslant t)
&= Prob(v leqslant t) \
&= int_{-infty}^{infty}int_{-infty}^{t}p_1(u)p_2(v-u)dudv \
&= int_{-infty}^{t}left( int_{-infty}^{infty}p_1(u)p_2(v-u)du
ight)dv \
&= int_{-infty}^{t}(p_1 * p_2)dv
end{align*}$
因此$p_1 * p_2$可当做$x_1+x_2$的密度函数。
结论：独立随机变量的和的密度函数为他们各自密度函数的卷积
$p(x_1+x_2+…+x_n) = p_1*p_2*…*p_n$
中心极限定理推导过程
设有$n$个随机独立变量$x_1,x_2,…,x_n$，他们满足下列条件
1. 有相同的密度函数：$p_1=p_2=…=p_n=p(x)$
2. 均值（期望值）为：$mu = displaystyle{int_{-infty}^{infty}xp(x)dx=0 }$
3. 标准差为：$sigma = displaystyle{sqrt{int_{-infty}^{infty}x^2p(x)dx } =1}$
4. 概率的一般性质，总概率为：$displaystyle{int_{-infty}^{infty}p(x)dx = 1 }$
设$S_n$为这$n$个随机变量的和
$S_n = x_1+x_2+…+x_n$
$S_n$的密度函数为
$p^{*n} = underbrace{p*p*...*p}_n$
$S_n$的均值为$0$，标准差为$sqrt{n}$，因此我们需要对它进行标准化（Normalization）。
标准化包括两个步骤：
1. 横轴缩放。标准化后密度函数为$f(z)$，$z = frac{x-mu}{sigma}$，即$x=sigma z+mu = sqrt{n}z$
2. 纵轴缩放。$f(z) = sigma f(x) = sqrt{n} p^{*n}(x)$
两个步骤合在一起，得到
$f(z) = sqrt{n} p^{*n}(sqrt{n}z)$
记标准化后的密度函数为
$p_{normal}(x) = sqrt{n} p^{*n}(sqrt{n}x)$
为了把卷积计算简化，需要引入傅里叶变换把卷积运算转换为乘法运算
$egin{align*}
mathcal{F}left(sqrt{n}(p^{*n})(sqrt{n}x)
ight)
&=sqrt{n}cdotfrac{1}{sqrt{n}}left(mathcal{F}(p^{*n})
ight)(frac{s}{sqrt{n}})quad Fourier Scaling Theorem\
&=(mathcal{F}(p^{*n}))(frac{s}{sqrt{n}})\
&=(mathcal{F} p)^n(frac{s}{sqrt{n}})quad Fourier Convolution Theorem\
&=left(int_{-infty}^{infty}e^{-2pi i(frac{s}{sqrt{n}})x} p(x)dx
ight)^n\
&=left(int_{-infty}^{infty}left(1-frac{2pi isx}{sqrt{n}}+frac{1}{2}left(frac{2pi isx}{sqrt{n}}
ight)^2+...
ight)p(x)dx
ight)^nquad Taylor Series\
&=left(int_{-infty}^{infty}p(x)dx-frac{2pi is}{sqrt{n}}int_{-infty}^{infty}xp(x)dx-frac{2pi^2s^2}{n}int_{-infty}^{infty}x^2p(x)dx+...
ight)^n\
&=left(1-0-frac{2pi^2s^2}{n}+...
ight)^n\
&approxleft(1-frac{2pi^2s^2}{n}
ight)^n
end{align*}$
当$n o infty$时，$lim_{n o infty}left(1-frac{2pi^2s^2}{n} ight)^n approx e^{-2pi^2s^2}$，即
$mathcal{F}left(sqrt{n}(p^{*n})(sqrt{n}x) ight) = e^{-2pi^2s^2}$
用傅里叶逆变换求出
$p_{normal} = mathcal{F}^{-1}(e^{-2pi^2s^2}) = frac{1}{sqrt{2pi}}e^{-frac{x^2}{2}}$
因此得出结论：
当$n o infty$，$p_{normal}(x) = frac{1}{sqrt{2pi}}e^{-frac{x^2}{2}}$。
其中n可以理解为某个独立随机变量连续测量的次数，当测量次数足够多时，其概率的密度函数会符合正态分布。这也就是我们所称的中心极限定理。
二项分布是正态分布的一个特殊情况，正态分布的随机变量是连续的，而二项分布的变量取值只有两项，是离散的。二项分布在我们的日常生活中比较常见。用游戏抽卡来举个例子，取值只有出货或者没出货两个。设n是某一个人抽卡的次数，如果$n o infty$，那么这个人抽卡出货的情况，呈二项分布。简而言之，假设有非常多的人在玩某个抽卡游戏，并且每个人的抽卡次数都非常多，那么大部分人抽卡的出货量会分布在期望值的近两侧，即亚洲人，少部分人是欧洲人或者非洲人，这种出货量的分布状况呈二项分布。