R语言-基本数据管理

目的:学会对原始的数据集进行整理(日期,缺失值,变量创建等),然后通过修改后的数据集可以更有针对性的来分析数据

案例:分析男性和女性经理人在领导自己企业的不同

　　问题:1.处于管理岗的男性和女性在服从上级的程度上是否有所不同

　　　　 2.导致不同的原因是因为性别还是国家,或者是年龄

　1.准备数据集

manager <- c(1,2,3,4,5)
date <- c('10/24/08','10/28/08','10/1/28','10/12/08','5/1/09')
country <- c('US','US','UK','UK','UK')
gender <- c('M','F','F','M','F')
age <- c(32,45,25,39,99)
q1 <- c(5,3,3,3,2)
q2 <- c(4,5,5,3,2)
q3 <- c(5,2,5,4,1)
q4 <- c(5,5,5,NA,2)
q5 <- c(5,5,2,NA,1)
leadship <- data.frame(manager,date,country,gender,age,q1,q2,q3,q4,q5.stringAsFactors=F)

  2.修正异常数据

leadship <- within(leadship,{
                          agecat <- NA
                          agecat[age>75 & age < 99] <- 'Elder'
                          agecat[age>= 55 & age <= 75] <- 'Middle Age'
                          agecat[age < 55] <- 'Young'})

# 1.创建新的变量
# 2.将该变量绑定到数据集上
# 3.将新变量做条件筛选,如果age大于75岁表示值错误,用NA值进行填

3.修改列明

# 1.使用代码修改
names(leadship[6:10]) <- c('item1','item2','item3','itgem4','item5')

# 2.使用对话框修改
fix(leadship)

4.去掉NA值的数据行

newdata <- na.omit(leadship)

5.日期格式转换

# 1.设置日期格式
# 2.将该字段转换为日期类型
myformat <- '%m-%d-%y'
leadship$date <- as.Date(leadship$date,myformat)

6.排序

# 1.使用order(字段名)进行排序,默认是升序,加-就是降序
attach(leadship)
newdata <- leadship[order(gender,-age)]
detach(leadship)

7.剔除变量

# 1.进行条件筛选,筛选出需要剔除的字段
# 2.将操作后的数据集重新赋值
myvars <- names(leadship) %in% c('q3','q4')
newdata <- leadship[!myvars]

8.条件筛选

# 1.选择所有age大于等于35或者小于24的行,保留变量q1~q4
# 2.选择所有25岁以上的男性,并保留gender到q4的所有列
newdata <- subset(leadship,age>=35 | age < 24,select = c(q1,q2,q3,q4))

newdata <- subset(leadship,gender='M' & age > 25,select = gender:q4)

9.随机抽样

# 从数据集中随机抽取出3行数据
mysample <- leadship[sample(1:nrow(leadship),3,replace = F),]

10.使用SQL操作数据集

library(sqldf)
newdf <- sqldf('select * from mtcars where carb=1 order by mpg',row.names = T)
sqldf('select avg(mpg) as avg_mpg,avg(disp) as avg_disp,gear from mtcars where cyl in (4,6) group by gear' )

案例2:一组学生参加了科学,数学,英语的考试,为了衡量学生的统一考试水平,前20%的学生为A,接下来20%的学生为B,以此类推,最后按照字母对学生进行排序

1.准备数据

options(digits = 2)
Student <- c('John Davis','Angela Williams','Bullwinkle Moose','David Jones',
             'Janice Markhammer','Cheryl Cushing','Reuven Ytzrhak','Greg Knox',
             'Joel England','Mary Rayburn')
Math <- c(502,600,412,358,495,512,410,625,573,522)
Science <- c(95,99,80,82,75,85,80,95,89,86)
English <- c(25,22,18,15,20,28,15,30,27,18)
roster <- data.frame(Student,Math,Science,English,stringsAsFactors = F)

2.转换考试成绩

# 由于每门课程的得分不一致,所以将所有的成绩计算标准差来实现标准化
z <- scale(roster[,2:4])

3.计算成绩标准差的平均值

# 1.通过mean计算每行的平均值
# 2.使用cbind添加到数据集中
score <- apply(z, 1, mean)
roster <- cbind(roster,score)

4.划分等级(A,B,C,D,F)

y <- quantile(score,c(.8,.6,.4,.2))

5.根据百分位运算符,创建新的变量等级

roster$grade[score >= y[1]] <- 'A'
roster$grade[score < y[1] & score >= y[2]] <- 'B'
roster$grade[score < y[2] & score >= y[3]] <- 'C'
roster$grade[score < y[3] & score >= y[4]] <- 'D'
roster$grade[score < y[4]] <- 'F'

6.把学生的姓名拆分成FirstName和LastName

# 1.将该变量以空格的形式进行拆分
# 2.获取第二个元素为LastName,第一个元素是FirstName
# 3.将这两项组合到数据集中,并丢弃原始的姓名
name <- strsplit((roster$Student),' ')
Lastname <- sapply(name, '[',2)
Firstname <- sapply(name, '[',1)
roster <- cbind(Firstname,Lastname,roster[,-1])

7.根据FirstName和LastName排序

roster <- roster[order(Firstname,Lastname),]

 8.使用自定义函数(实现描述性统计量的计算)

mystats <- function(x,parametric=T,print=F){
  if(parametric){
    center <- mean(x);spread <- sd(x)
  }
  else{
    center <- median(x);spread <- max(x)
  }
  if(print & parametric){
    cat('Mean=',center,'
','SD=',spread,'
')
  }
  else if(print & !parametric){
    cat('Median=',center,'
','MAD=',spread,'
')
  }
  result <- list(center=center,spread=spread)
  return (result)
} 

# 1.生成服从正态分布的500的随机样本
# 2.执行语句,获取y$center和y$spread的值
set.seed(1234)
x <- rnorm(500)
y <- mystats(x)

# 1.或者获取中位数和mad的值
y <- mystats(x,parametric = F,print = T)

9.switch语句的实现

mydate <- function(type='long'){
  switch (type,
    long = format(Sys.time(),'%A %B %d %Y'),
    short = format(Sys.time(),'%m-%d-%y'),
    cat(type,'is not a recognized type
')
  )
}

# 1.默认调用type为long的参数
# 2.如果传short则调用short格式
# 3.否则输出错误信息
mydate('long')
mydate('short')

10.整合数据

# 使用aggregate整合数据,第一个参数是数据集,第二个参数是要整合的列,第三个参数是使用什么函数进行行数据处理
options(digits = 3)
attach(mtcars)
aggdata <- aggregate(mtcars,by = list(cyl,gear),FUN = 'mean',na.rm=T)
aggdata
detach(mtcars)