1. 证券市场专家群体预测方法概述
0x1：为什么需要专家群体预测
在证券投资分析中，把握投资时机对取得投资收益具有重要作用。证券公司和证券咨询机构往往会阻止专业证券分析人员，对证券市场的变化趋势进行分析预测，以帮助投资者进行投资决策。
在互联网网站上公布有很多证券公司的证券分析专家对证券市场变化趋势的预测结果，如果科学地将这些预测信息进行合成得到高质量的预测结果，并在预测的基础上进行证券投资决策是利用互联网上专家群体进行预测与决策所要解决的重要问题。
同时，证券市场的预测具有不确定的因素，一般将证券市场的变化趋势分为以下三种状态：
- 上涨
- 持平
- 下跌
不同的证券咨询专家对证券市场的变化趋势的分析预测存在差异、甚至是互相冲突的。所以，我们需要寻找能够将多个专家的预测进行融合的方法，从而进行更好的预测。
0x2：传统的专家群体预测方法（基于统计的投票表决法）
传统的预测方法是，以统计的方法将预测结果相同的专家意见进行累加，公布有多少专家预测证券市场上涨、有多少专家预测下跌、有多少专家预测持平（变动幅度<0.25%）。
这样预测证券市场的涨跌，是以多数专家意见为依据的，若认为上涨的专家人数多，则认为预测结果为上涨。
通过对某网站上公布的52位专家对上海证券交易所股票指数半年预测结果数据的复核，该方法的预测准确率仅为33.08%。而该网站专家个人的预测准确率的均值为36.23%，以预测次数为权的加权均值为34.03%，均方差为0.1312.
从上述对预测结果的检验来看，传统的基于统计的专家群体预测方法，得到的结果对决策者来说没有什么实用价值。
导致这个问题的原因是什么呢？
利用领域专家群体对复杂的不确定事件进行预测，不同专家的预测意见的重要性与可靠性不同，预测意见还可能存在较强的冲突。同时，基于统计的投票表决法仅仅利用了专家当下的判断信息，但每个专家在单次的发挥中，往往会存在不确定性，不能稳定地输出最客观理性的评估结果。
0x3：个体概率集结方法
本质上来说，综合专家个体的预测意见是不确定性信息的融合问题，一般采用个体概率集结的方法。
个体概率集结即是集结 n 个成员（n≥2）组成群体的个体对一个事件的概率估计成为群体对该事件概率估计。设个体对事件 E 的概率估计为 Pt(E),(i,1,2,....,n)，群体对事件 E 的概率估计为 PG(E)。
1、加权平均集结
集结公式为：
其中，wi(E) 为对第 i 个个体的权重，且满足 n 个个体的权重之和等于1。
权重的确定一般依赖于个体在过去同样情况下获得的绩效数据，即由数据驱动的。
2、乘积集结
集结公式为：
其中，P0(E) 为群体对事件 E 的先验概率。
3、Bayes集结
Morris 将 Bayes规则推广应用到群体概率集结中，假设群体的主观判断受 n 个专家意见的影响，则有：
但是，实际中很难有充分的数据估计
和
，一般只能对其进行主观估计。
4、熵集结模型
Levy 和 Delic 利用极大熵原理建立了个体概率集结公式，之后，邱菀华提出群决策系统的熵模型。
设决策方案集合为 A={a1，a2，....，an}，决策群体集合为 E={e1，e2，....，em}，决策者 ei 对决策方案 aj 的评判值为：
对决策者 ei 的权重为 ωi(i=1,2,....,m)，且满足：
代表群体的对决策方案的评判值为：
如果将所有的决策者对各决策方案的评价值假设为对各方案效用的概率测度，则每一个决策者对方案集合中的所有方案的离散概率测度就形成决策方案集合 A 的一个概率分布。
假设专家是在互相独立的情况下对方案集合中各方案进行评判的，则我们可认为对各方案效用的概率测度也是相互独立的离散随机变量。因此，我们可以建立相对熵集结模型来集结群体的评判值。
该模型本质上是一个非线性规划问题，对应公式如下：
从上式可知，通过对各个决策者的偏好效用值与群体偏好效用向量之间偏离值的最小化，可以求得最能代表决策群体偏好的个体集结。
求解上式即可得到群决策相对熵模型（relative entropy model，REM）算法。
在 REM 中一般假设决策者对方案的评判值不能为零，即 xij ≠ 0。若专家 i 对方案 j 的评估概率为0，这时根据 REM，专家群体对方案 j 的评估概率估计也等于0。这样就出现了所谓的独裁现象。
在上述条件下，群决策的 REM 算法如下：
（1）由群决策矩阵 X = [xij]mxn 计算规范化矩阵 B = [bij]mxn
（2）根据公式计算群偏好向量 Xg* = [xg1*，xg2*，...，xgn*]T
（3）根据 Xg* = [xg1*，xg2*，...，xgn*]T 中 xgj* 的大小对决策方案集 A 进行排序，选择最优方案。
笔者思考：
群决策相对熵模型的底层理论是测度论，即KL散度，REM算法的优化目标是个体决策效用（个体决策概率分布）和群体偏好效用（群体决策概率分布）尽量接近。换句话说，算法会倾向于保留群体中那些持主流观点相近的专家的意见，而弃用或者轻视那些”异类观点“。笔者认为，所谓的群体决策，本质上就是从群体中提取出”主流价值观“。
5、个体概率集结方法的局限性
在上述合成研究中还没有一个真正合理的方法来确定加权集结模型中的权重，而造成这些困难的原因有决策者，或者专家意见之间的相关性，专家意见有可能不真实等复杂因素。
为了解决这个问题，学者们将神经网络与证据理论相结合，用于证券市场的专家预测意见合成，建立基于神经网络与证据理论的证券市场专家预测系统。
2. 基于神经网络与证据理论的证券市场专家群体预测信息融合方法
0x1：背景
在互联网上参与预测的证券咨询专家人员相对稳定，每个工作日都对证券市场进行预测。因此，利用证券咨询专家集体意见进行预测是可验证的、可重复的。
若证券咨询专家对证券市场的预测正确性是相对稳定的，对过去的预测经验能扩展到未来，则可用这些专家的历史预测意见与实际结果建立学习样本。用基于神经网络与证据理论的证据合成方法来合成证券咨询专家的预测意见，提高证券市场预测的准确率。
证券咨询专家对证券市场的预测，是该专家依据自己的知识经验，在对证券市场与经济环境分析的基础上形成的。每个专家的预测意见可看成一个证据，将不同专家的意见进行融合，可看成证据合成问题。
之前的文章我们讨论过，证据合成的业内主流方法是Dempster证据合成理论。各个专家对证券市场预测的准确性是不同的（同时存在相关性、与冲突性），可用加权的方法对各个专家的意见进行修正，使其能使用证据理论进行合成。
接下来的问题就是如何确定综合修正系数，传统做法是通过专家领域经验（专家之间彼此的了解，以及专家结合自己的经验对证券市场与经济环境分析的基础上形成的），也可以基于神经网络与证据理论的证据合成方法来合成证券咨询专家的预测意见，提高证券市场预测的准确率。
0x2：具体预测方法流程
基于神经网络与证据理论的群体专家预测方法，首先，通过统计分析与聚类分析，依据协同原理从众多的证券咨询专家中选择预测准确率较高、信息质量较好的专家作为意见征集对象，建立学习样本。
其次，应用优化理论，通过神经网络训练得到最优的对专家意见的综合修正系数。
在此基础上，用优化的系数修正专家预测的意见，对修正后的专家意见采用D-S证据合成规则进行专家意见的合成，以得到专家群体的预测结果。
1、意见征集对象选择
设有证券咨询专家 m 个人，从 m 个人中选择 n 个人的预测数据作为学习样本。证券市场的预测状态为：
- 上涨：状态 θ1
- 持平：状态 θ2
- 下跌：状态 θ3
- 未知：状态 Θ
识别框架 Θ={θ1，θ2，θ3}。
2、确定综合修正系数
设第 i 个人的基本可信数为 mi(θj)，i=1,2,...,n；j=1,2,3。mi(θj)对应的综合修正系数为 ai(θj)。则第 i 个专家的基本可信数的修正公式为：
ai(θj)的取值用神经网络基于学习样本进行优化，其取值范围是 [0,1]，其初始值选择遵循如下的启发规则：
- 相关证据的相关焦元 Ci 的相关性越高，其对应的修正系数越小，即要对它进行较大的修正
- 证据的重要性、可靠性越高，其对应的修正系数越大，即给重要的证据分配较大的权重
- 证据冲突越高，可靠性越低，其对应的修正系数越小，即要对它进行较大的修正，将冲突的信度部分重分配给未知领域 Θ
根据证券市场的 n 个专家预测及其实际结果确定用于学习训练的样本，每天的数据未一个样本，设有 P 个样本数据。P 对训练数据的整体误差指标定义为：
其中，N=|2Θ|；dk 为第 p 个期望输出向量的第 k 个分量，其值由学习训练的样本给出；mp,k 为给网络施加第 p 个输入向量所产生的实际输出向量的第 k 个分量，其值可由Dempster合成公式计算得到。
优化的目标是使 E 最小，神经网络的基本学习规则是最陡下降法，它通过连续使用链式法则导出梯度向量。
由于证据合成的优化计算是非确定性多项式（non-deterministic polynomial，NP）问题，因此 n 的取值不易过大。
3、采用D-S证据合成规则进行专家意见的合成
对基本可信数进行修正后，用Dempster合成规则进行合成，就可得出代表专家群体的预测结果。
若将证券市场预测专家分为乐观型、保守型、稳健型三类，并从每类专家中选取一位专家作为代表，此时，n=3，j=1,2,3，基于神经网络的证据合成表示如下：
3. 实际应用案例
这个章节，我们来通过一些实际案例，讨论一下如何基于神经网络算法，实现从训练样本的确定，到证据融合权重信息的确定，到最后进行证据融合的整体流程。
0x1：预测专家群体的聚类分析
证券市场预测专家由于学习经历、知识结构、工作经历的差异，专家预测问题的准确性存在差异。因此，对专家的历史预测数据进行分析可掌握与预测专家的对特定问题的预测准确性与专家的预测特点。
一般可采用数理统计的方法，计算专家对特定问题的预测准确率、对特定问题的特定属性的预测准确率以及专家的预测特点（这位专家是较保守的、还是激进的）。根据统计可以将不经常参与预测的专家筛选掉，初步确定进一步参与聚类分析的预测专家。
案例中预测专家预测次数的统计分布如下表所示：
在上述统计分布中取预测次数大于110次的专家为学习样本备选专家。这样选出32位专家，这32位专家的预测统计特性分布如下表所示：
在这个例子中，我们采用了基于包含度理论，定义贴近度与相似度指标作为聚类分析的指标。
定义第 i 位专家在第 k 个状态上贴近度 ri,k 为该专家对该状态预测正确次数与实际结果该状态出现的次数之比。
第 i 位专家的贴近度向量 Ri[ri,1，ri,2，ri,3]。
定义第 i 位专家与第 j 位专家在第 k(k=1,2,3) 个状态上的相似度为 Xi,j,k：
第 i 位与第 j 位专家的相似度向量为：
定义第 i 位专家与第 j 位专家的相似度为：
Di,j 越接近1，说明两个向量越接近。
用相似度进行聚类分析就可找到能反映专家意见与标准值差异的类别。具体聚类方法可以使用例如kmeans等方法实现。
在本案例中，对预测次数大于110次的32位专家进行分类。分析各类的贴近度向量模数与预测准确率，可最终聚类得到三个类别。
- A专家对上涨的预测贴近度较高，是乐观型专家
- B专家对下跌的预测贴近度较高，是保守型专家
- C专家对上涨、下跌预测的贴近度都是较高，是稳健型专家
对聚类得到的专家群体，进行组合计算选择最优的协同专家，组合计算的优化指标为预测的准确率最高与在准确率相同时取合成结果与标准值的误差最小。
从上表中可以看到，基于聚类结果的专家群体，构成的组合都具有协同专家的属性，其组合的专家意见经过优化合成其结果都优于专家中最优个人的预测意见。
在组合中最终选择合成指标最好的协同专家是以 A(广东金手指)、B(杭州新希望)、C(山西证券) 三位专家为实例使用的用于预测的学习样本。学习样本的统计特性如下表所示：
0x2：基于神经网络与证据理论的专家预测信息融合
在选择具有互补性的专家预测意见作为信息合成的对象，确定学习样本的基础上，利用基于神经网络与证据理论的证据合成方法，将神经网络的学习功能与证据理论的证据合成的系统完整性有机地结合起来，使专家预测意见的合成方法具有学习专家历史预测经验的能力，以达到合成专家的预测效果好于任何专家个人的预测意见。
学习群体专家的历史预测经验也就是在群体专家预测的历史数据库中进行数据挖掘，寻找最优的最专家预测意见的综合修正系数，这个综合修正系数反映了专家群体预测历史数据中隐含的规律。
神经网络优化计算模块主要实现用神经网络的BP算法进行综合修正系数的优化迭代计算，算法流程图如下所示：
在迭代计算中，迭代计算的目标是更高的合成预测准确率与更小的迭代误差。
合成预测结果的确定以合成基本可信数在上涨、下跌、持平三个状态上数值为依据，三个值中的最大值所处状态即为合成结果预测的状态。
通过优化计算，A、B、C 三位专家的综合修正系数分别为：
- A：0.3218，0.8025，0.5580
- B：0.1085，0.7271，0.2854
- C：0.6908，0.2584，0.7195
此时合成预测结果对学习样本的准确率为 0.5044。该结果优于任何个人专家的预测准确率。这也很容易理解，因为训练的原则是“最大似然估计”，优化的目标本来就是寻找所有专家的最佳组合权重。
这里将基于神经网络与证据理论的证据合成预测方法与Yager的预测方法相比，在学习样本中出现的主要状态如下表所示：
0x3：基于可信度与决策报酬函数的决策
对于上一章节中得到的合成预测结果，当我们把所有的专家预测意见与合成结果都看成证据的基本可信数，并把每次预测合成得到的基本可信数的最大值对应的状态作为预测的结论，我们可以得到在113个学习样本中，预测正确次数为57次，预测准确率为50.4%，基于神经网络与证据理论的证据合成方法优化目标是对学习样本整体来说，使合成结果具有最高的预测准确率。
我们将优化合成结果转化为具体的决策动作，对各规则的可信度定义为学习样本中该规则的正确次数与该规则前提条件出现的次数之比。
如下表所示：
从上表中可以看到，实例中各决策规则的 α 与 β 的值经过统计其值如上表所示。
当可信度取50%时，β大于10次时，只有规则2、规则5可以采用。