[论文笔记] Human computation: a survey and taxonomy of a growing field (CHI, 2011)

Time: 5 hours
Timespan: Dec 17 - Dec 19, 3 days

Alexander J. Quinn and Benjamin B. Bederson. 2011. Human computation: a survey and taxonomy of a growing field. In Proceedings of the 2011 annual conference on Human factors in computing systems (CHI '11). ACM, New York, NY, USA, 1403-1412. (gs: 36)

        作者Alex Quinn，2002年毕业于华盛顿大学，目前是University of Maryland(UMD)的博士生。这哥们接触过的研究方向也不少,  自06年读博开始，研究过的方向包括crowdsourcing, human computation , digital libraries, information visualization, online trust , and personal information management，总体来说大方向是human computer interaction，他的毕业论文题目是"Crowdsourcing and human computation for decision support"。

    本文先介绍了背景，然后讨论了hc的定义，并与相关技术进行区分和比较，之后重点提出了针对hc系统的分类体系，并说明了如何根据所提出的分类体系来寻找新的研究点，全文结构如下：

         1. Introduction       
    2. Definition of human computation        
    3. Comparison with related ideas        
        - crowdsourcing        
        - social computing        
        - data mining        
        - colletive intelligence        
    4. Classification dimensions (将近5页，占据全文一半篇幅)        
        - motivation        
        - quality control        
        - aggregation        
        - human skill        
        - process order        
        - task-request cardinality        
    5. Opennings for growth        
    6. Conclusion   

以下是论文笔记

1. Introduction部分提到的一些信息可了解一下
(1) 第一篇关于hc的博士论文：von Ahn, L. Human Computation. Doctoral Thesis. UMI Order Number: AAI3205378, CMU, (2005).
(2) 第一个关于hc的workshop：Human Computation Workshp(HCOMP 2009), June 28, 2009 Paris, France, co-located with KDD-09
(3) 做hc的学者来自哪些背景：AI, business, cryptography, art, genetic algorithms, HCI

2. human computation的定义
von Ahn在他博士论文里的定义：
”… a paradigm for utilizing human processing power to solve problems that computers cannot yet solve.”

文中还列出了不同专家给出的定义，基本上都强调需要人力参与以及计算机目前还不能解决（或有效解决），还有些文献提到需要大量人员参与。
综述作者则认为构成human computation需要满足两个条件：

• The problems fit the general paradigm of computation, and as such might someday be solvable by computers.
• The human participation is directed by the computational system or process.

3. 相关技术

上图是作者给出的相关技术关系图。

	对比技术 侧重	human computation 侧重	Comment
crowdsourcing	replace traditional human workers with members of the public	replace computers with humans	对crowdsourcing的介绍见另一篇博文。交叉部分是那些机器和人都可完成(replacement)的应用。
social computing	facilitates relatively natural human behavior that happens to be mediated by technology	participation directed by the human computation system	blogs, wikis, online communities都是social computing
data mining	does not encompass the collection of the data	does encompass the collection of the data
collective intelligence	applies only when the process depends on a group of participate	possible that computations performed by a single worker in isolation	与crowdsourcing的侧重点比较也适用于此; 是crowdsourcing的超集

    作者在与collective intelligence比较时提到hc system可以只由单个人参与，但在其他学者对hc的描述中有强调“很多人参与”，因此这一点目前是有争议的。
从实际的角度来看，“多人”的hc系统才有意义。

    另外，作者特意提到，他认为wikipedia的模式不属于human computation，因为现在的wikipedia “ is created through a dynamic social process of discussion about the facts and presentation of each topic among a network of the authors and editors.”

4. Classification Dimensions （分类维度）

作者提出了6个维度，分为两组：

• motivation, human skill, aggregation：
• quality control, process, task-request cardinality

各个维度的含义及其值大多都较易理解，就算部分不能完全理解关系也不大，下面是一览表：

5. 对于新的方向

作者认为根据其提出的维度，可从以下几个方面来考虑：

• 组合不同的维度来发现新的应用
• 对于给定的维度，创造新的值
• 遇到新的hc系统时，将其按照目前维度归类，以发现新东西

6. 文中提到的一些系统有空可以去了解一下，比如：

• Amazon Mechanical Turk (官方网站  wikipedia): online market for small tasks that uses monetary payment