获得和清洗数据:
1.从网络上抓取数据
year<-2013 url<-paste("http://sports.yahoo.com/nfl/stats/byteam?group=Offense&cat=Total&conference=NFL&year=season_",year,"&sort=530&old_category=Total&old_group=Offense") offense<-readHTMLTable(url,encoding="UTF-8",colClasses="character")[[7]]
执行上面的命令可以创建一个存储32个球队在2013赛季所有进攻统计数据的数据框offense
2.首先注意到下载的球队数据存在很多空白列,而且为了确保数据格式正确,我们需要先进行数据清洗工作。如下所示,我们清除空白的列,并给每列赋予我们需要的数据类型。
offense<-offense[,-c(2,4,6,8,10,12,14,16,18,20,22,24,26,28)] offense[,1]<-as.character(offense[,1]) offense[,2:13]<-apply(offense[,2:13],2,as.numeric) offense[,14]<-as.numeric(substr(offense[,14],1,2))*60+as.numeric(substr(offense[,14],4,6))
3.通过同样的方式获取防守数据。
url<-paste("http://sports.yahoo.com/nfl/stats/byteam?group=Defense&cat=Total&conference=NFL&year=season_",year,"&sort=530&old_category=Total&old_group=Defense") defense<-readHTMLTable(url,encoding="UTF-8",colClasses="character")[[7]]
readHTMLTable函数会下载整个网页,所以我们通过在命令的末尾加上[[7]]来选择我们需要的第7列元素。
R语言中的paste()函数实现字符串的连接。如果你对操作数据陌生,连接指的是将两个字符串拼接在一起。我们利用paste函数来连接下载数据的URL和需要获取数据的年份,从而可以仅仅通过改变year的数值来改变整个下载数据的URL。另一个非常有用的R函数是apply()。我们可以通过它仅用一行代码同时将多列变量变成数值类型。apply()函数不仅可以用来改变数据类型,也可以执行其他数学计算。
分析和理解美式橄榄球比赛数据
1.首先,为了方便后续数据研究,我们将offense和defense两个数据框合并成combined
combined<-merge(offense,defense,by.x="Team",by.y="Team")
因为offense和defense数据框中存在相同的列名称,为了避免后面操作的混淆,我们需要为重名的列进行唯一命名。同时我们会剔出defense中和offense中重复的比赛数量列。
colnames(combined)[2]<-"Games" colnames(combined)[3]<-"OffPPG" colnames(combined)[4]<-"OffYPG" colnames(combined)[5]<-"OffPassYPG" colnames(combined)[6]<-"OffRushYPG" combined$G.y<-NULL colnames(combined)[15]<-"DefPPG" colnames(combined)[16]<-"DefYPG" colnames(combined)[17]<-"DefRushYPG" colnames(combined)[18]<-"DefPassYPG"
直方图一直是初步研究数据的最好工具之一。因为它可以通过显示每列数据的分布而分辨偏低、偏高和在正常范围内的数值。
首先,我们为每个球队平均每场进攻得分(offensive points per game)创建一个直方图
hist(combined$OffPPG,breaks=10,main="Offensive Points Per Game",xlab="Offensive PPG",ylab="Number of Teams")
2.尝试通过条形图来理解combined数据集。
条形图和前面所创建的直方图经常容易被混淆。在这里,二者的区别在于,条形图可以刻画出每支球队在不同评价指标上的差异,而直方图却是用来显示出评价指标在不同数值段上的球队数量的分布
ppg<-transform(combined,Team=reorder(Team,combined$OffPPG)) ggplot(ppg,aes(x=Team,y=OffPPG))+geom_bar(stat='identity',color="black",fill="blue")+coord_flip()+labs(x="Team",y="Avg Points per Game")+ggtitle("Avg Points per Game")+theme(plot.title=element_text(size=18,face="bold"))
ypg<-transform(combined,Team=reorder(Team,-combined$DefYPG)) ggplot(ppg,aes(x=Team,y=OffPPG))+geom_bar(stat='identity',color="black",fill="blue")+coord_flip()+labs(x="Team",y=“Avg Points per Game”)+ggtitle("Avg points per Game")+theme(plot.title=element_text(size=18,face="bold"))
4.最后我们通过散点图来观察两个变量之间的相关性
ggplot(combined,aes(x=combined$OffYPG,y=combined$OffPPG))+geom_point(shape=5,size=2)+geom_smooth()+labs(x="Yards per Game",y="Points per Game")+ggtitle("Offense Yards vs. Points per Game")+theme(plot.title=element_text(size=18,face="bold"))
构建度量攻防能力的指标
我们按照下面的流程来构造攻防指数:
1.首先,我们计算球队的进攻传球能力分值。combined变量中最能能体现传球能力的是PassYds/G(average passing yards per game),即平均每场传球码数。PassYds/G的值越高,说明球队拥有更强的传球能力。
offense$OPassStrength<-max(offense[,5])-offense[,5] offense$OPassStrength<-(1-(offense$OPassStrength/max(offense$OPassStrength)))*100
首先我们计算每个球队的PassYds/G和最大值之间的差值,然后除以最大值。1减去比值的用意是为了使分值的大小和传球能力的大小成正比,最后将分值归一到0和100之间。
2.为了计算球队的进攻冲击能力,我们可以对数据域RushYds(average rushing yards per game)采取相同的变换。
3.对每场进攻得分和进攻码数进行上面相同的变化,然后将四个变换之后的变量综合成用户的攻击能力指标。
模拟单场由程序决定胜负的比赛
模拟比赛的基本思路是比赛双方中自身进攻能力和对手防守能力之间差值较大的队伍将获得比赛的胜利
1.选择两支参赛的队伍,为了方便起见,我们称这两支球队分别为主队和客队。
home_team<-"Chicago Bears" away_team<-"New Orleans Saints"
2.整合前面所计算的球队的攻防能力指数
off_game<-subset(offense,Team==home_team|Team==away_team)[,c(1,15,16,19)] def_game<-subset(defense,Team==home_team|Team==away_team)[,c(1,14,15,18)] game<-merge(off_game,def_game,by.x="Team",by.y="Team")
3.基于汇总的参赛双方数据,我们现在可以通过比较两者的攻防能力指标来决定理论上应该胜出的队伍。
game$Net_Pass[game$Team==home_team]<-game$OPassStrength[game$Team==home_team]-game$DPassStrength[game$Team==away_team]
game$Net_Pass[game$Team==away_team]<-game$OPassStrength[game$Team==home_team]-game$DPassStrength[game$Team==home_team]
4.上面我们计算了双方在传球能力上的差别,我们现在比较两支球队在冲球能力以及总能力上的差别
game$Net_Rush[game$Team==home_team]<-game$ORushStrength[game$Team==home_team]-game$DRushStrength[game$Team==away_team] game$Net_Rush[game$Team==away_team]<-game$ORushStrength[game$Team==away_team]-game$DRushStrength[game$Team==home_team] game$Net_Total[game$Team==home_team]<-game$OffStrength[game$Team==home_team]-game$DefStrength[game$Team==away_team] game$Net_Total[game$Team==away_team]<-game$OffStrength[game$Team==away_team]-game$DefStrength[game$Team==home_team]
5.因为球队的总能力表现是基于传球、冲击和总体能力初始差值得到的,我们需要重写Net_Total列。然后,通过比较两支球队的Net_Total,给出虚拟球赛中最终能够获胜的球队
game$Net_Total<-game$Net_Pass+game$Net_Rush+game$Net_Total if(game$Net_Total[game$Team==home_team]>=game$Net_Total[game$Team==away_team]){ winner<-home_team loser<-away_team } else{ winner<-away_team loser<-home_team } print(paste(winner,"beat",loser))