一 基本知识
随机过程:我的理解是随机变量的集合.比如X(t)=Acos(wt+θ),t>=0,A,w为常数,θ为[0,2π]上均匀分布的随机变量.对于固定的t,X(t)是一个随机变量,它是θ的函数.由于θ是一个随机变量,那么它的函数也是随机变量.对于不同的t,如t1,t2.X(t1),X(t2)就是两个不同的随机变量.所以你只要搞清随机变量这个概念, 随机过程即在随机变量的基础上引入时间的概念,随机过程只是在时间上的一串随机变量罢了.
随机场:一组随机变量,他们样本空间一样,那么就是随机场。当这些随机变量之间有依赖关系的时才是有意义的。 随机场包含两个要素:位置(site),相空间(phase space)。当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田; “相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼,这就好比给随机场的每个“位置”,赋予相空间里不同的值。所以,俗气点说,随机场就是在哪块地里种什么庄稼的事情。
马尔科夫过程和马尔可夫链:在时间轴上,由上一个状态转换到当前一个状态,当前的状态只与前面有限个状态有关,这个转换过程称之为马尔科夫过程,而这些状态组成的序列称之为马尔可夫链。如果,当前的状态只与前面的一个状态相关,则称之为一阶马尔可夫链;如果是N个,则称之为N阶马尔可夫链。
高斯过程和高斯混合模型的区别:高斯过程指的当前的状态序列符合高维的高斯分布,加入下一个状态组成的新的状态序列还是一个高斯分布;而高斯混合模型是一个序列中,每个元素都符合高斯分布。
判别式模型与生成式模型的区别:产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于,对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y);判别式模型估计条件概率分布P(y|x)。
无向概率图模型:亦称马尔科夫随机场(Markov Random Fields, MRF’s)或马尔科夫网络(Markov Networks)。
有向概率图模型:亦称贝叶斯网络(Bayesian Networks)或信念网络(Belief Networks, BN’s)。
马尔科夫随机场:设联合概率密度分布的P(Y),由无向图G=(V,E)表示,结点表示随机变量,变量表示随机变量的依赖关系,如果联合概率密度分布P(Y)满足成对、局部或全局马尔可夫性,那么此概率分布为无向概率图模型(马尔科夫随机场)。
马尔科夫毛毯:在有向图模型中,该节点的父亲结点,孩子结点,以及孩子的父亲结点组成的马尔科夫毯。而在无向图模型中,该结点的邻接结点组成马尔科夫毯。七月算法视频网站
$$ x = dfrac{-b pm sqrt{b^2 - 4ac}}{2a} $$