【视频】线性回归中的贝叶斯推断与R语言预测工人工资数据|数据分享

原文链接：http://tecdat.cn/?p=24141

原文出处：拓端数据部落公众号

在这个视频中，我们转向简单线性回归中的贝叶斯推断。 我们将使用一个参照先验分布，它提供了频率主义解决方案和贝叶斯答案之间的联系。 然后在R语言中用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资数据 （查看文末了解数据获取方式）。

视频：线性回归中的贝叶斯推断与R语言预测工人工资数据案例

贝叶斯推断线性回归与R语言预测工人工资数据

，时长09:58

为了说明这些想法，我们将使用一个例子来预测身体脂肪。 获得准确的体脂测量值是很昂贵的，而且在家里也不容易做到。 

相反，可以使用现成的测量值（如腹围）来预测体脂百分比的预测模型是很容易使用的，而且价格低廉。

图中显示了从水下称重得到的体脂百分比和多名男性的腹围。 

为了预测体脂，我们可以从一个线性回归开始，在散点图中加入了回归线。

这条线的估计斜率为0.63，截距约为-39%。 每增加一厘米，我们预计体脂会增加0.63%。 负的截距过程作为一个物理模型没有意义，但预测一个腰围为0厘米的男性也没有意义。 尽管如此，这个线性回归可能是一个准确的近似值，用于预测目的。 随着测量结果在这个人群的观察范围内。

我们的最佳估计线使用α和β的通常平方估计值来获得拟合值和预测值。

提供拟合误差估计的残差是观察值和预测值之间的差异，用于诊断以及估计sigma平方。 这是通过平均平方误差，即平方误差之和除以自由度。

记住，剩余自由度是样本量减去模型中的回归系数。

模型和先验

让我们从基准的角度来看看估计的情况。 我们将从与OLS相同的模型开始，但有一个额外的假设，即误差是正态分布的常数变体。

我们经常加上这个假设，以获得具有常数平方的置信区间。 因此，在频率主义回归中经常使用的任何诊断图都可以在这里用来检查这个假设。

对于共轭分析，先验是以西格玛为条件的回归系数的双变量正态分布。Sigma在这里提供了响应的单位比例。

从边际上看，α是正态分布，给定西格玛的平方，以注意不在这个无单位规模参数作为子α的方差控制。 同样地，β是正态分布，给定西格玛的平方，其平均值为b0，方差控制由参数S次β。

阿尔法和贝塔之间的协方差，是西格玛平方乘以一个参数，这个参数描述了我们对阿尔法和贝塔如何共同变化的先验信念。 如果s alpha beta是0，那么先验的信念是，alpha将独立于beta，条件是sigma平方。

为了完成规范，我们使用共轭先验sigma平方，其中1动方差有一个自由度为N的gamma分布，sigma平方不是对sigma平方的先验估计。 这与我们在以前的视频中使用的先验相似。 由于共轭的关系，后验分布将是正态伽马分布，有简单的规则来更新参数。 

参照先验和后验分布

提供一个贝叶斯分析作为起点是很有用的。 参照先验分布是作为那些方差参数到无穷大时的正态分布的极限得到的，并且在α和β中是平坦或均匀的。 而共轭伽马先验的极限，先验自由度为0，提供了我们在以前视频中使用的西格玛平方的参照先验。

与之相关的β的参照后验是一个以OLS估计值为中心的学生t分布，其尺度与OLS标准误差相同。 自由度是n减2，就像在频率分析中一样。

同样，α的边际后验分布也是一个学生t分布，其中心和尺度由OLS估计值给出。

利用这些参数的联合分布，我们可以得到x的任何值的预期体脂分布，这是一个学生t分布，有n减2的自由度。 估计值由OLS估计值给出。

使用统计软件，我们可以得到参数估计值、标准差和95%置信区间。 你应该能够确认，当我们使用这个参照先验时，贝叶斯估计值与频率主义估计值相同。

参数估计

参数、拟合值或预测的置信区间都是以后验均值加或减适当的t-quantile乘以标准差得到的。 主要区别在于对区间的解释。 例如，根据数据，我们现在认为，腰围每增加10厘米，体脂将增加5.8%至6.9%的可能性是95%。 当然，这个模型是一个近似值，所以要小心任何因果关系的解释，然而，它仍然可以对预测有帮助。

预测体脂

对于预测身体脂肪，我们将使用后验预测分布。

如果我们知道参数，一个新的观察将只是通过取平均值来获得，基于我们的人口回归方程加上相关的不确定性，描述个体偏离人口平均值和x的程度。

鉴于手头的数据，我们的后验预测分布是一个具有n-2个自由度的t分布。 预测新值的最佳估计是人口线的后验平均值。 这与我们之前计算的拟合值是一样的，但是基于预测标准差的比例参数。

预测标准差包含了x处的回归线的后验不确定性。从最后一个项中，我们可以看到，当我们在数据的平均值附近进行预测时，变异性将是最小的。 随着处于x范围两端的x的值的变异性增加。

还有一个额外的估计值sigma squared，它来自于误差epsilon的不确定性，或者说我们期望观测值偏离回归线的程度。 

图中显示了数据，预测方程是后验平均数，用红色表示，估计总体平均数的95%的点状区间用灰色虚线表示。 预测体脂的95%可信区间是外侧的虚线。 大多数数据都在预测区间内，正如人们所期望的那样。 然而，橙色圈出的点的体脂率远远低于模型的预期。

 

R语言用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资案例

下面，贝叶斯信息准则（BIC）和贝叶斯模型平均法被应用于构建一个简明的收入预测模型。

这些数据是从 935 名受访者的随机样本中收集的。该数据集是_计量经济学数据集_系列的一部分 。

加载包

数据将首先使用该dplyr 包进行探索 ，并使用该ggplot2 包进行可视化 。稍后，实现逐步贝叶斯线性回归和贝叶斯模型平均 (BMA)。

数据

数据集网页提供了以下变量描述表：

变量	描述
wage	每周收入（元）
hours	每周平均工作时间
IQ	智商分数
kww	对世界工作的了解得分
educ	受教育年数
exper	多年工作经验
tenure	在现任雇主工作的年数
age	年龄
married	=1 如果已婚
black	=1 如果是黑人
south	=1 如果住在南方
urban	=1 如果居住在都市
sibs	兄弟姐妹的数量
brthord	出生顺序
meduc	母亲的教育（年）
feduc	父亲的教育（年）
lwage	工资自然对数 wage

探索数据

与任何新数据集一样，一个好的起点是标准的探索性数据分析。汇总表是简单的第一步。

1.  
   # 数据集中所有变量的汇总表--包括连续变量和分类变量
2.  
   summary(wage)

因变量（工资）的直方图给出了合理预测应该是什么样子的。

1.  
   #工资数据的简单柱状图
2.  
   hst(wge$wae, breks = 30)

直方图还可用于大致了解哪些地方不太可能出现结果。

1.  
   # 检查图表 "尾部 "的点的数量
2.  
   sm(wage$ge < 300)
3.  
   ## \[1\] 6
4.  
   sm(wae$wge > 2000)
5.  
   ## \[1\] 20

简单线性回归

由于周工资（'wage'）是该分析中的因变量，我们想探索其他变量作为预测变量的关系。我们在数据中看到的工资变化的一种可能的、简单的解释是更聪明的人赚更多的钱。下图显示了每周工资和 IQ 分数之间的散点图。

gplot(wae, es(iq, wge)) + gom\_oint() +gom\_smoth()

IQ 分数和工资之间似乎存在轻微的正线性关系，但仅靠 IQ 并不能可靠地预测工资。尽管如此，这种关系可以通过拟合一个简单的线性回归来量化，它给出：

工资 i = α + β⋅iqi + ϵiwagei = α + β⋅iqi + ϵi

1.  
   m\_wg\_iq = lm(wge ~ iq, dta = age)
2.  
   coefients

工资 i = 116.99 + 8.3 ⋅iqi + ϵiwagei = 116.99 + 8.3 ⋅iqi + ϵi

在转向贝叶斯改进这个模型之前，请注意贝叶斯建模假设误差 (ϵi) 以恒定方差正态分布。通过检查模型的残差分布来检查该假设。如果残差高度非正态或偏斜，则违反假设并且任何后续推论都无效。要检查假设，请按如下方式绘制残差：

1.  
   # 用散点图和模型误差残差的直方图来检查正态性假设
2.  
    
3.  
   glot(dta = mwag_q, es(x = .ite, y = .rd)) +
4.  
     gemittr() +

1.  
   plot(dta = m\_g\_iq, aes(x = .reid)) +
2.  
     histgm(bnwth = 10)

变量变换

两个图都显示残差是右偏的。因此，IQ（因为它目前存在于数据集中）不应用作贝叶斯预测模型。但是，对 仅具有正值的偏斜_因_变量使用（自然）对数变换 通常可以解决问题。下面，该模型使用转换后的工资变量进行了重新拟合。

1.  
   # 用IQ的自然对数拟合th模型
2.  
   lm(lage ~ iq, data = wae)

1.  
   # 残差sctterplot和转换后数据的柱状图
2.  
   plt(data = m\_lag\_iq, es(x = .fited, y = .reid)) 
3.  
     geiter() +

1.  
   ggpot(dta = m_lwgeiq, as(x = .resd)) +
2.  
     gostgam(binwth = .1) +

残差确实大致呈正态分布。然而，由此产生的 IQ 系数非常小（只有 0.0088），这是可以预料的，因为 IQ 分数提高 1 分几乎不会对工资产生太大影响。需要进一步细化。数据集包含更多信息。

多元线性回归和 BIC

我们可以首先在回归模型中包含所有潜在的解释变量，来粗略地尝试解释尽可能多的工资变化。

1.  
   # 对数据集中的所有变量运行一个线性模型，使用'.'约定。
2.  
   full = lm(lwge ~ . - wage, dta = wge)

完整线性模型的上述总结表明，自变量的许多系数在统计上并不显着（请参阅第 4 个数字列中的 p 值）。选择模型变量的一种方法是使用贝叶斯信息准则 (BIC)。BIC 是模型拟合的数值评估，它也会按样本大小的比例惩罚更多的参数。这是完整线性模型的 BIC：

BIC(full)

BIC 值越小表示拟合越好。因此，BIC 可以针对各种缩减模型进行计算，然后与完整模型 BIC 进行比较，以找到适合工资预测工作的最佳模型。当然，R 有一个功能可以系统地执行这些 BIC 调整。

1.  
   # 用step计算模型
2.  
   pIC(lwge ~ . - wge, dta = na.oi(wge))lg(lgth(na.mit(wge))))

1.  
   # 显示逐步模型的BIC
2.  
   BIC(se_mol)

调用 step找到产生最低 BIC 的变量组合，并提供它们的系数。很不错。

贝叶斯模型平均（BMA）

即使BIC处于最低值，我们能有多大把握确定所得到的模型是真正的 "最佳拟合"？答案很可能取决于基础数据的规模和稳定性。在这些不确定的时候，贝叶斯模型平均化（BMA）是有帮助的。BMA对多个模型进行平均化，获得系数的后验值和新数据的预测值。下面，BMA被应用于工资数据（排除NA值后）。

1.  
   # 不包括NA
2.  
   a_ona = na.omt(wae)
3.  
    
4.  
   # 运行BMA，指定BIC作为判断结果模型的标准
5.  
   BMA(wge ~ . -wge, daa= ae\_o\_a,
6.  
                      pror = "BIC", 
7.  
                      moepor = ufom())
8.  
    
9.  
   # 显示结果
10.  
    summary

结果表显示了五个最有可能的模型，以及每个系数被包含在真实模型中的概率。我们看到，出生顺序和是否有兄弟姐妹是最不可能被包含的变量，而教育和智商变量则被锁定。BMA模型的排名也可以用图像图来显示，它清楚地显示哪些变量在所有模型中，哪些变量被排除在所有模型之外，以及那些介于两者之间的变量。

ge(b_lge, tp.oels)

我们还可以提供模型系数的95%置信区间。下面的结果支持了关于包括或排除系数的决定。例如，在区间包含零，有大量证据支持排除该变量。

confint(ceflae)

进行预测

构建模型后，pediction 只是插入数据的问题：

1.  
   # 用一个虚构的工人的统计资料来预测数据的例子
2.  
    
3.  
   # 进行预测
4.  
   redict = pedct(e_odl, newdt = wrkr,eitr = "BMA")
5.  
    
6.  
   # 将结果转换为元
7.  
   exp(wk_pedct)

预计这名化妆工作人员的周薪为 745 元。这到底有多准确？你得问她，但我们对我们的变量选择很有信心，并对现有的数据尽了最大努力。应用的贝叶斯技术使我们对结果有信心。

数据获取

在下面公众号后台回复“工资数据”，可获取完整数据。

---

本文摘选《R语言用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资》，点击“阅读原文”获取全文完整资料。

---

点击标题查阅往期内容

R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病

PYTHON银行机器学习:回归、随机森林、KNN近邻、决策树、高斯朴素贝叶斯、支持向量机SVM分析营销活动数据|数据分享

PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像

MATLAB随机森林优化贝叶斯预测分析汽车燃油经济性

R语言中贝叶斯网络（BN）、动态贝叶斯网络、线性模型分析错颌畸形数据

使用贝叶斯层次模型进行空间数据分析

MCMC的rstan贝叶斯回归模型和标准线性回归模型比较

python贝叶斯随机过程：马尔可夫链Markov-Chain，MC和Metropolis-Hastings，MH采样算法可视化

Python贝叶斯推断Metropolis-Hastings（M-H）MCMC采样算法的实现

matlab贝叶斯隐马尔可夫hmm模型实现

贝叶斯线性回归和多元线性回归构建工资预测模型

Metropolis Hastings采样和贝叶斯泊松回归Poisson模型

贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析免疫球蛋白、前列腺癌数据

R语言RSTAN MCMC：NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据

R语言STAN贝叶斯线性回归模型分析气候变化影响北半球海冰范围和可视化检查模型收敛性

PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像

贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析免疫球蛋白、前列腺癌数据

R语言JAGS贝叶斯回归模型分析博士生延期毕业完成论文时间

R语言Metropolis Hastings采样和贝叶斯泊松回归Poisson模型

Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户

R语言贝叶斯MCMC：用rstan建立线性回归模型分析汽车数据和可视化诊断

R语言贝叶斯MCMC：GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实例

R语言贝叶斯Poisson泊松-正态分布模型分析职业足球比赛进球数

随机森林优化贝叶斯预测分析汽车燃油经济性

R语言逻辑回归、Naive Bayes贝叶斯、决策树、随机森林算法预测心脏病

R语言用Rcpp加速Metropolis-Hastings抽样估计贝叶斯逻辑回归模型的参数

R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归

Python贝叶斯回归分析住房负担能力数据集

R语言实现贝叶斯分位数回归、lasso和自适应lasso贝叶斯分位数回归分析

Python用PyMC3实现贝叶斯线性回归模型

R语言用WinBUGS 软件对学术能力测验建立层次（分层）贝叶斯模型

R语言Gibbs抽样的贝叶斯简单线性回归仿真分析

R语言和STAN,JAGS：用RSTAN,RJAG建立贝叶斯多元线性回归预测选举数据

R语言基于copula的贝叶斯分层混合模型的诊断准确性研究

R语言贝叶斯线性回归和多元线性回归构建工资预测模型

R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例

R语言stan进行基于贝叶斯推断的回归模型

R语言中RStan贝叶斯层次模型分析示例

R语言使用Metropolis-Hastings采样算法自适应贝叶斯估计与可视化

R语言随机搜索变量选择SSVS估计贝叶斯向量自回归（BVAR）模型

WinBUGS对多元随机波动率模型：贝叶斯估计与模型比较

R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样

R语言贝叶斯推断与MCMC：实现Metropolis-Hastings 采样算法示例

R语言使用Metropolis-Hastings采样算法自适应贝叶斯估计与可视化

视频：R语言中的Stan概率编程MCMC采样的贝叶斯模型

R语言MCMC:Metropolis-Hastings采样用于回归的贝叶斯估计