1、实验与样本空间
任何一个过程，如果它的结果是随机的(无法事先知道)，此过程就成为实验，实验的所有结果的集合成为样本空间。
2、计数原理
如果一个实验可以分为m个步骤，每个步骤分别有n1,n2,...Nm种可能，那么此实验总共有n1*n2*...*Nm种可能的结果。计数原理的核心是“分步”。
3、事件
事件是样本空间的子集，是若干实验结果的集合。
4、条件概率
P(A∩B)=P(A,B)=P(A|B)*P(B)=P(B|A)*P(A),事件A和事件B同时发生的概率。
5、全概率
P(A)=P(A|B1)*P(B1)+P(A|B2)*P(B2)+P(A|B3)*P(B3)+...+P(A|Bn)*P(Bn),B1,B2...Bn是样本空间下的一个划分，也称作一个完备事件组。由A，B两个随机变量可知，全概率是在两个事件的情况下使用。
6、贝叶斯定理
- 有了条件概率和全概率，我们就可以推导出贝叶斯定理。
- P(Bi|A)=P(A|Bi)*P(Bi)/P(A)=P(A|Bi)*P(Bi)/P(A|B1)*P(B1)+P(A|B2)*P(B2)+P(A|B3)*P(B3)+...+P(A|Bn)*P(Bn)
- 举一个栗子：假设家庭收入分为高(H)，中(M)，低(L)三类，高收入家庭占20%，中等收入家庭占65%，低收入家庭占15%。如果高收入家庭的拥有汽车的概率为0.8，中等收入家庭的拥有汽车的概率为0.5，低收入家庭的拥有汽车的概率为0.2。则任意一辆车是来自于低收入家庭的概率是多少？贝叶斯问题首先找问题重的分类，分类就是公式中的Bi，每个类别(Bi)都有一个共同属性，那就是A。显而易见，此问题中分类是高收入家庭，中等收入家庭以及低收入家庭，分别记为B1，B2，B3.家庭拥有小汽车记为A。然后问题即是求P(B3|A).
7、随机变量
事件是很叙述性的，为了定量描述问题，引入了随机变量，是事件到实数的映射结果。
8、概率质量函数与累积分布函数
有了随机变量我们就可以定义概率质量函数(PMF)与累积分布函数(CDF)。P(X=x)表示随机变量X取值为x时的概率值，可以用来描述离散随机变量的分布，称为概率质量函数。F(x)=P(X<=x)表示随机变量的概率分布状况，成为累积分布函数。
9、连续随机变量的概率问题
假设连续随机变量X的取值范围是(a,b)，但是(a,b)之间有无数个实数，X可能去任意一个实数值，假设为c。则P(X=c)=1/无穷，所以连续随机变量取任意一个具体实数值的概率都是0，因此就不能使用概率质量函数来描述连续随机变量的分布。因此引入了累积分布函数。
10、概率密度函数(PDF)
概率密度即是概率的密度，在某点附近选取一个“无穷小”段，小段区间长度是dx，而小段对应的概率是dF，那么这个点的概率密度就是dF/dx。
11、概率密度函数
对一个函数的积分，获得的就是此函数曲线下方的面积。因此概率密度曲线下方某个区间的面积就是随机变量在该区间的概率，即是随机变量落在该区间的概率。通过概率密度曲线的面积就可以很直观的表示出概率。