[论文笔记] Evaluation on crowdsourcing research: Current status and future direction (Information Systems Frontiers, 2012) (第一部分)

Time:   4.5 hours
Timespan: May 11 – May 14 , 2012
Yuxiang Zhao, Qinghua Zhu. Evaluation on crowdsourcing research: Current status and future direction. Information Systems Frontiers, p1-p18. Springer Netherlands.

    这是篇崭新出炉的纵包方向综述，作者是南京大学信息管理方向的老师，因此这篇综述也是从信息系统(Information System, IS)的角度而写。

    全文分为五个部分，

• 第一部分是介绍；
• 第二部分说明本文检索相关论文的方法及综述的论文情况；
• 第三部分介绍众包方向论文作者和出版的情况、按理论基础分类、按研究方法分类、按研究热点分类(详述，3.3占5页半篇幅)；
• 第四部分分别从participant、organization、system的角度介绍future directions(占5页篇幅)；
• 最后是总结。

以下是详细内容。

1. 本文检索了8个数据库(S2):

• EBSCO Business Source Premier
• EBSCO Academic Source Premier
• ISI Web of Knowledge
• ABI
• ACM Digital Library
• Elsevier
• SAGE
• Springer

搜索的范围是 Subject/Title/Keywords（比较窄，因此找出的论文的相关性应该会比较高），去掉博士论文、书评等出版物，又去掉论关注点不是"Crowdsourcing"的，剩下38篇。从这38篇论文出发，通过backward/forward tracking， 一共找到了55篇论文，情况如下：

• 22篇期刊论文，33篇会议论文
• 均发表在2006年及之后
• 2006年（1），2007年（0），2008年（11），2009年（13），2010和2011年（30）

2. (S3.1)对这些论文的作者和出版情况进行了统计

• 总共有117个作者，其中69%来自学术界，31%来自工业界
• 55篇论文中，64%完全由学术界人士撰写，10%完全由工业界认识撰写
• IBM Watson Research Center, MS Research, HP Lab, AT&T Lab等研究机构均有发表相关论文
• 117个作者来自78个机构，分布的学科很广泛：Computer Science, Information System, Management Science, Library & Information Science, Business & Economics, Communications等
• 这55篇论文发表在19个期刊和26个会议上（具体期刊和会议名见文中）

3. (S3.2)对这些论文内容的理论基础进行了分析和分类

• 文中提到"the use of theory in research is a hallmark of a discipline's academic maturity"。
• 16%的论文提供了理论基础（包括11种理论和模型）；
• 下图对这些理论的类型和角色进行了分类：

4. (S3.3)介绍了这些论文中使用的研究方法。

大的可以分成两类：empirical methods（被64%的论文使用），non-empirical methods（被36%的论文使用）。

细分如下：case study (12个), lab experiment（10个）, field experiment（6个）, survey（5个）, secondary data（5个）, applied concpets methods（10个）

5. (S3.4)详细介绍了这些论文的研究热点

（1）wordle clouds图如下：

（2）从粒度来分，把Crowdsourcing作为：

• as a paradigm that exists at the higher level and provides principles or rules to the real world problems.
• as a process that involves several key actors and operations.
• as a platform with specific functions and features which can implement the paradigm and support the corresponding processes.

（3）然后又从conceptualization focus（11篇）、system focus（19篇）、application focus（25篇）这三个方向进行了详述。

后续：Evaluation on crowdsourcing research: Current status and future direction (Information Systems Frontiers, 2012) (第二部分)