一.作为统计判别问题的模式分类
模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。 只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。 特征值不再是一个确定的向量，而是一个随机向量。 此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。
二.贝叶斯判别原则
2.1 两类模式集的分类
目的：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。
2.2 贝叶斯判别规则
对于自然属性是属于ωi类的模式x来说，它来自ωi类的概率应为P(ωi |x)
根据概率判别规则，有：
由贝叶斯定理，后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算，即：
这里p(x | ωi)也称为似然函数。将该式代入上述判别式，有：
或 
其中，l12称为似然比，P(ω2)/P(ω1)=θ21称为似然比的判决阈值，此判别称为贝叶斯判别。
2.3 贝叶斯判别示例
问题描述：
对某一地震高发区进行统计，地震以ω1类表示，正常以ω2类表示 统计的时间区间内， 每周发生地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8 在任意一周，要判断该地区是否会有地震发生。显然，因为P(ω2)> P(ω1)，只能说是正常的可能性大。如要进行判断，只能其它观察现象来实现。通常地震与生物异常反应之间有一定的联系。
若用生物是否有异常反应这一观察现象来对地震进行预测，生物是否异常这一结果以模式x代表，这里x为一维特征，且只有x=“异常”和x=“正常”两种结果。假设根据观测记录，发现这种方法有以下统计结果：
地震前一周内出现生物异常反应的概率=0.6，即p(x=异常| ω1)=0.6
地震前一周内出现生物正常反应的概率=0.4，即p(x=正常| ω1)=0.4
一周内没有发生地震但也出现了生物异常的概率=0.1，即p(x=异常| ω2)=0.1
一周内没有发生地震时，生物正常的概率=0.9，即p(x=正常| ω2)=0.9
若某日观察到明显的生物异常反应现象，一周内发生地震的概率为多少，即求P(ω1 | x=异常)=？
解决过程：
三.最小风险贝叶斯决策
3.1 问题提出
在决策中，除了关心决策的正确与否，有时我们更关心错误的决策将带来的损失。比如在判断细胞是否为癌细胞的决策中，
若把正常细胞判定为癌细胞，将会增加患者的负担和不必要的治疗，
但若把癌细胞判定为正常细胞，将会导致患者失去宝贵的发现和治疗癌症的机会，甚至会影响患者的生命。
这两种类型的决策错误所产生的代价是不同的。考虑各种错误造成损失不同时的一种最优决策，就是所谓的最小风险贝叶斯决策。
3.2 损失函数和决策表
设对于实际状态为wj的向量x采取决策αi所带来的损失为
该函数称为损失函数，通常它可以用表格的形式给出，叫做决策表。需要知道，最小风险贝叶斯决策中的决策表是需要人为确定的，决策表不同会导致决策结果的不同，因此在实际应用中，需要认真分析所研究问题的内在特点和分类目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作用。
3.3 计算步骤
对于一个实际问题，对于样本x，最小风险贝叶斯决策的计算步骤如下：
（1）利用贝叶斯公式计算后验概率：
其中要求先验概率和类条件概率已知。
（2）利用决策表，计算条件风险：
（3）决策：选择风险最小的决策，即：
（4）公式的整合规范（换一种表达）
说明：
==
==
3.4 示例1
现在用之前的判别细胞是否为癌细胞为例。状态1为正常细胞，状态2为癌细胞，假设：
（1）利用贝叶斯公式计算后验概率：
（2）利用决策表，计算条件风险：
（3）决策：选择风险最小的决策，即：
即判别为1类的风险更大，根据最小风险决策，应将其判别为2类，即癌细胞。
由此可见，因为对两类错误带来的风险的认识不同，从而产生了与之前不同的决策。显然，但对不同类判决的错误风险一致时，最小风险贝叶斯决策就转化成最小错误率贝叶斯决策。最小错误贝叶斯决策可以看成是最小风险贝叶斯决策的一个特例。
3.5 两类（M=2）情况的贝叶斯最小风险判别
选M=2，即全部的模式样本只有ω1和ω2两类，要求分类器将模式样本分到ω1和ω2两类中，则平均风险可写成：
当分类器将x判别为ω1时：
当分类器将x判别为ω2时：
若r1(x)<r2(x)，则x被判定为属于ω1，此时：
3.6 两类（M=2）情况的贝叶斯最小风险判别实例
如图所示为一信号通过一受噪声干扰的信道。信道输入信号为0或1，噪声为高斯型，其均值μ=0，方差为б2。信道输出为x，试求最优的判别规则，以区分x是0还是1。设送0为ω1类，送1为ω2类，从观察值x的基础上判别它是0还是1。直观上可以看出，若x<0.5应判为0，x>0.5应判为1。
用贝叶斯判别条件分析：
设信号送0的先验概率为P(0)，送1的先验概率为P(1)，L的取值为：这里a1和a2分别对应于输入状态为0和1时的正确判别，L12对应于实际上是ω1类但被判成ω2类(a2)时的代价，L21对应于实际上是ω2类但被判成ω1类(a1)时的代价。正确判别时L取0。
当输入信号为0时，受噪声为正态分布N(0,б2)的干扰，其幅值大小的概率密度为：
当输入信号为1时：
（1）
（2）若取L21=L12=1，P(1)=P(0),则x<1/2判为0。
（3）若无噪声干扰，即б2=0，则x<1/2判为0。