精通Web Analytics 2.0 : 用户中心科学与在线统计艺术
第六章：使用定性数据解答”为什么“的谜团
当我走进一家超市，我不希望员工会认出我或重新为我布置商店。 然而，当我访问一个在线超市，我很郁闷的是在我第三次访问时，他们仍然不知道我住在加利福尼亚州，他们没有给我介绍在我的本地商店有售的商品。
当人们在网上购物时，他们会有不同的一些期待。 因此，您的Web Analytics 2.0策略必须包括至少几个积极地倾听客户的声音的方法。 通过这种方式，您站在了他们的期望顶端，您还可以获得你所需要的关键的上下文，为什么，为了弄明白您的什么，这就是您的Clickstream数据。
章节内容
- 一 实验室可用性研究：什么，为什么，和多少
- 二 代理可用性：远程和在线外包
- 三 调查：真正可扩展的倾听
- 四 启用Web的新兴用户研究选项
可用性研究，远程测试和调查是众多强大的技术中的一些，帮助你把耳朵直接伸入客户的大脑，解开“为什么”的奥秘。他们为什么要这样？他们为什么会像这样反应？为什么他们不遵循你的简单说明？为什么…？
Web已经帮助开辟了一系列用于倾听用户声音的新的可能性，从免费的、易于实施的调查到可负担的可用性测试到冷酷的事情诸如“五秒测试”（稍后会对它有更多介绍）。所以如果你想开始，门槛是很低的;你只需要一个很短的时间的承诺和对你的客户的充分的爱心。最后一部分是关键。
我们都认为我们代表了我们的客户。你可能深信，经过在Yahoo!多年的在线购物或搜索，你确切地知道一个在线购物者或搜索者需要的是什么。问题是你完全错了。真正的以客户为中心 – 会在网上为您带来巨大成功的事情 - 将只来自于大规模地和持续地倾听您的客户。
准备好了？我们出发吧。
一 实验室可用性研究：什么，为什么以及多少？
用户研究是观察和监测我们如何与日常事物（如网站，软件或硬件）进行交互，然后得出关于如何改进这些事物的结论的科学。有时我们是在实验室环境中进行研究（用单向镜和指向参与者的照相机完成）; 其他时候，我们可以在人们的原来环境中执行这些研究，例如他们的办公室或家中。实验室可用性研究是所有以用户为中心的设计（UCD）方法的鼻祖。
1 什么是实验室可用性？
实验室可用性测试衡量了一个用户完成任务的能力。在一个典型的可用性测试中，用户尝试使用网站（或软件或产品）完成一项任务或一组任务。这些任务中的每个都有一个在指定的使用背景下针对有效性，效率和满意度的指定目标。
一个典型的研究将会有8到12名的参与者。早期 —— 甚至在少至只有五个用户的测试中 —— 那些模式会开始出现：突出显示哪些部分的客户体验或过程运行良好，以及哪一些引起了问题。
实验室测试是由以用户为中心的设计或人力因素的专家指挥，通常有一个记录笔记的人协助。主要的利益相关者比如业主，工程师，开发工程师，分析师和产品经理以观察员的身份参与。
测试可以使用网站的实时版本，测试版，屏幕HTML或PowerPoint原型，甚至用纸质的打印进行。这些纸质的原型（有时称为线框），接近于用户会在计算机屏幕上看到的东西，但是使开发团队免于开发一个屏幕上的产品。
在实验室环境中，可用性测试通常是在一个特殊设计的室内进行，被称为可用性实验室。实验室被一个单向镜窗户分割为两个房间，允许观察者在不被测试对象看到的情况下观看测试过程。但是，您可以在没有实验室的情况下进行可用性研究。所有你需要的是一个有一台电脑的房间，以及所有的测试观察者的一个承诺：他们将保持沉默，并在整个测试中不出现在测试对象的视野中（即在他们后面）。
当测试对象完成他们的任务时，测试主持人进行观察，记录下用户操作，并且记录结果。当参与者正在完成他们的任务时，主持人要限制他们自身的交互，只能提供初始的任务说明，并且偶尔地促使参与者深入解释他们的评论。
例如，如果参与者说，“很简单，”主持人可能会说，“详细告诉我一些。”这个中立的提示会鼓励参与者解释发生了什么他们预料的事情，以及为什么它工作得很好。由于主持人做出非主观的评论而且不提供帮助，因此参与者被迫使用他们自己的设备 - 如他们在家或办公室那样 - 来完成他们的任务。
实验室可用性测试通常也会被记录在视频里，以供以后的审查并且向公司中的更多观众呈现。
可用性测试最适合用于优化用户界面（UI）设计，优化工作流程，理解客户需求，以及了解客户真正在做什么。
注意：首要的事情优先。本书附带的CD包含了一个来自用户效果的25点网站可用性的清单。使用该清单，在25个基本可用性的最佳实践（每个网站都应该遵循的）中对你的网站进行打分。您不需要任何的可用性测试来修复这些问题。他们会落在“只管去做”的类目下。
2 如何进行一个测试
在进行实验室可用性测试中会涉及到与科学一样多的艺术。了解端到端的流程是非常重要的，以确保您能够从这些研究中获得有效的观测和结果。
进行成功的实验室可用性测试包括四个阶段：准备测试，进行测试，分析结果和跟进。
1）准备
准备阶段可能是决定您的可用性研究成功的最重要的阶段，因为您要帮忙定义范围，决定参与者，并确保所有的用品都以正确的方式就绪。
以下是准备阶段的主要步骤，拿Amazon.com 为例：
1 为你正在做的测试确定那些关键的任务。（Amazon.com的一个关键任务可能是：客户退回产品或请求更换的易难程度）
2 为每个任务的测试参与者建立场景。（一个客户从Amazon.com订购了一个Sony数码相机，当快递盒子到达时，它缺了一个镜头盖子。客户下一步会做什么去联系Amazon.com寻求帮助呢？）
3 我确定了：每种场景下的成功样式。 （客户在支持网站上找到了正确的网页，然后链接到亚马逊的联系页面，填写一个请求表单，然后点击提交按钮。）
4 我确定了你的测试参与者应该是哪种角色（新用户，现有用户，在竞争对手的网站购物的人等等）。
5 确定参与者的报酬结构。
6 联系您公司的或外部的一个招聘人员，为您招聘合适的人员。
7 在与真正的参与者实际进行测试之前，请与内部人员进行模拟练习，以确保您的脚本和其他元件可以正常工作。在你进行真正的测试之前，你可以清理这些在试飞中会发现的问题。
2）进行测试
随着所有的准备就绪，是时候让众所周知的测试浮出水面了。你终于看到了真正的人！
测试阶段的主要步骤如下：
1 欢迎您的参与者，并将他们带到测试环境中。 “谢谢你来这里给我们的公司做这个测试。有一面人们在观察你的镜子，而且我们也会记录这个。你是不可能出错的，所以不要担心，只要放轻松。
2 从“大声思考”的练习开始。你想“听到”参与者的想法，这个练习中你将训练他们“说出他们的想法”。主要目的是真正的了解和发现他们确实存在的问题。
3 让参与者大声的读出任务; 这将确保他们读到了所有的说明，从而理解了该任务或场景。
4 现在所有公司的观察者，要注意了，密切的关注。仔细观察参与者做了什么，寻找参与者在任务中失败、误解网页或走错路径的言语和非言语线索。
5 主持人可以询问参与者一些后续问题以更清楚地获得线索。千万小心不要给出答案，绝对注意自己的言语和非言语线索; 对参与者保持尽可能的冷静和安定。
6 感谢参与者，并确保马上支付了报酬（如果可以的话）。
3）分析数据
乐趣还没有结束。在测试阶段结束时，您收集了大量有价值的观察结果，有些是预期中的，有些则不是。趁热打铁是关键的 - 现在有条不紊地做你的分析吧。
分析阶段的主要步骤如下：
1 尽快地与所有观察者进行汇报会，以便每个人都能分享他们的想法和观察结果。
2 花些时间去留意趋势和模式。
3 主持人为每个任务的每个参与者计算成功和失败次数。
4 根据实际观察来深入挖掘以确定故障的根本原因。 （例如，网站上常见问题的答案太长，“联系我们”的链接不是很明显，被折叠隐藏了起来。不知道他们不能通过电话联系我们。几乎每个人都抱怨他们没有为“何时希望得到回复”设置一个预期。）
5 为已确定的问题提出修复意见。创建一个收集了分数的PowerPoint演示文稿，然后针对每个关键任务采取下列步骤：
- a 我来识别失败发生的点。
- b 提出可以改善客户体验的具体建议。
- c把建议划分为紧急的、重要的和有益的，以帮助业务决策者决定优先级。
4）跟进，重新测试和衡量成功
UCD专家和研究人员的传统角色可能在上一步就结束了，但我认为他们的作用可以在测试结果提交后持续。专家和研究人员应该与业主合作，以保持来自测试的劲头。专家可以帮助解决测试中确诊的问题，提供他们的服务和UCD专业知识从而与网站开发人员和设计师合作以便改善网站体验。
最后，不要忘记衡量实施之后的成功。你花了所有的钱在测试上面，所以效果是什么？你赚到了更多的钱吗？客户满意了吗？放弃率变低了吗？为测试工作一直提供资金的唯一方法是显示一贯的成功追踪记录，它们会影响公司效益底线或提高客户满意度。
3 实验室可用性研究的最佳实践
一些突出的最佳实践将帮助您扩大可用性测试的结果。收集定性数据不仅仅是完成一组限定任务的问题; 也涉及到了大量的风格和微妙的差异。
以下是进行成功测试的一些提示：
- 要确保告诉了参与者您在对网站，产品或软件进行测试，而不是测试他们。人们倾向于过多的自我责备; 确保向他们强调过：他们在测试中的任何问题都不是他们的错。
- 不要相信人们说的话; 要关注他们的行为。通常人们报告经历的方式与他们怎么经历的会非常不同。会令人非常惊讶，很多次我从用户那里观察到一个令人沮丧（或冗长）的经历，他最后却给它打了4分（总为5分）。人们是善意的，我们的工作是通过观察来弥补它。
- 当参与者问你如何做某事情时，尽量不要回答他们的问题。相反，多这样说比如“告诉我更多一些”，或“如果这是在你的家或办公室的情形下，接下来你会做什么？”
- 再次提一下先前提过的建议：注意你的肢体语言，以确保没有给参与者任何微小的线索。
1）实验室可用性研究的好处
如果实验室可用性研究没有带来任何好处，您将不会去进行。实验室测试非常适合去接近客户、观察他们甚至与他们互动。我知道这种描述听起来像是去动物园里看一只动物，但事实是我们99％的人都会在没有看到客户的情况下完成公司赋予的工作。然而，一直以来我们应该为他们去解决。实验室测试对于每个参与者来说是一种开阔眼界的经验。准备大吃一惊吧。
对于复杂的经历而言，实验室测试会是在过程中能早点获得到客户反馈，以便诊断大问题的很好的方法。当你较早地得到恰当的信息，你就节省了时间，金钱，精力和心力。
对于现有的经历，这些测试真的有助于帮你确定什么生效了以及什么不工作了。当你完全被Clickstream数据所困扰，测试会尤其地有用，这种情况可能会经常发生。
最后，可用性测试是一个诞生那些可以解决客户问题的想法的很好的机制。并不是解决方案，想法。
2）注意事项
在有限选项的这个世界中，您必须依靠实验室可用性测试来获得一些全方位的答案。但是在Web的世界里，你可以以更微妙的方式利用数据。当您考虑利用可用性测试时，请注意下面的问题：
- 十二个人并不是一个客户群。尽最大努力去确保测试的参与者是您的客户的典型代表。但是像霍桑效应这样的事情会影响到参与者的行为。也就是说，人为环境中的参与者（如具有单向镜和摄像机的实验室）会表现的不自然，因为他们知道他们正在被监视。不要因实验室测试的一个结果而立马得到确定的结论。
- 避免纯粹地基于一个实验室的测试，而对网站或客户体验进行复杂的，全范围的重新设计。你对实验室测试要求过多了; 它是不可能对您在真实网站上发生的所有因素进行控制的。
- 记住：在Web上，革命会失败; 进化是可以的！
- 不要只把实验室可用性测试交给您的UCD专家和研究人员。您可以为公司做的最好的事情之一是将这些专家与您的web分析师搭配起来。 后者将从他们的工具中拉取真实的工作数据，并解释这些数据的含义；前者将使用该数据来构建实际任务并为每个任务创建合适的场景。可用性研究人员和网站分析师都会在密切的、持久的合作关系（定性和定量的最终组合）中受益匪浅。
- 保持开放的心态去接受可用的替代方案。我将在下一节介绍几个。我发现人们只是认定实验室的可用性是灵丹妙药，然而它不是。实验室测试的结果应该是你可用于收集用户需求的组合策略的一部分。
实验室可用性测试最强大的用途之一是拿出10个想法，消灭掉完全无用的几个。剩下了几个想法，将它们置于您的网站上做真实的在线测试。现在你拥有了两个世界最好的方案。
提示：本节包含了一些处理客户和客户数据的最重要的心理模型，例如让参与者完成任务，获得很多不同角度的观点，理解样本的局限性，创建结构化的目标或阅读肢体语言和其他视觉上的线索的重要性。当你执行其他方法来倾听客户，你想要记住，并且把从可用性中获得的关键课程结合起来。
二 可用性替代：远程和在线外包
Web是一个启动器，如果没有别的称呼的话。为此我喜欢它。在本章节，我将介绍两家聪明的公司，他们解决了一些与用户研究相关的重大挑战，并大规模的实施了。第一家公司为我们可用性研究中的偏见和挑战提供了一个解决方案：招聘！ 第二个公司为用户研究的访问民主化提供了解决方案，使用户研究到了非常深入的程度，即使一个几千美元收入的小企业也可以访问它。
1 实时招聘和远程用户研究
在进行可用性研究时伴随的两个重要挑战是：找到最佳的参与者，并且让他们来做该研究。通常我们解决这两个关键问题的方式是在我们附近走访和获得那些最适合参与我们研究中的人。所以，任何接近我们目标参与者的人都是一种公正的游戏，包括妈妈。然后我们告诉参与者把他们想像成与我们做生意并给我们反馈的人。我们也可以使用一个专职工作是去招人的招聘机构。我们安排了可用性的这些研究（我们的和他们的）。不幸的是，对于这两种方法，结果证明并不是很好的组合。
1）实时招聘和远程研究
许多的解决方案如Ethnio（www.ethnio.com）很聪明地解决了之前的问题。您可以招募一些访问了你网站的真实人员来完成任务，您还可以远程指挥这项研究（换句话说，如果您的参与者喜欢的话，他们可以坐在床上访问您的网站）。
下面是实时招聘和远程研究的工作原理：
1. 您可以通过三到五个问题创建一个简单的筛选器，询问那些访问您网站的用户。这些问题有助于您对候选人进行资格确认，从而找到合适的人选。
2. 你拿到一段简单的代码（通常是一行），然后把它嵌入到你的网站中（或者整个网站的高流量页面上，或者只在技术支持的页面上，如果你想测试技术支持的话）。
3. 你的网站的用户来了，并且享受荣光。根据您的设置，他们的一些或全部将收到一个亲切的DHT ML窗口，会邀请他们参与一项研究（参见图6.1）。
你会注意到该邀请不会太具打扰性，“关闭”按钮很清楚的被显示着，并且对访客我们会有明确的价值建议（可能是亚马逊的一个证书），而且会礼貌地请求15-30分钟的时间。
4. 访客可以关闭该邀请或点击“继续”。如果他们点击了“继续”，他们会看到一个简短的问卷（见图6.2）。
你可以问任何你想要知道的问题，最好是会帮助你筛选到正确的人的那些问题。例如，在我的第一项研究中，我只是想知道为什么我们的技术支持网站的满意度评分会那么低。我的两个问题是，“您是我们软件的现有用户吗？”和“您今天访问我们网站是有什么原因或目的吗？”下拉的菜单帮助我找到了合适的那个人。
5.一旦访客点击“提交”，数据就会显示在实时的数据库中。您可以识别出那些符合您要求的访客，并且根据您的需要立即召回他们或者在一个方便的时间与他们联系。我不能强调再多了：这些是真实的用户，他们真正的访问你的网站然后完成了一个任务，并不是你的妈妈或你的位置附近最合适的人。
6.您可以使用您最喜爱的屏幕——共享应用程序（GoToMeeting，WebEx，Yugma，Zoho会议等），与您选中的参与者进行联系，然后就离开吧。您使用与上一节实验室可用性研究中描述的几乎相同的过程：任务观察，视频记录，做分析，然后叨扰您公司中的人直到他们实施了更新。
像Ethnio这样的解决方案是最具性价比的，如果你的公司至少有一名可以管理和指挥这些研究的用户研究员。但考虑到价格，Ethnio和其他公司可以为你做这些研究。无论是哪种方式，您不需要对可用性实验室和研究人员进行大量的投资，您也不需要使用不太理想的参与者，并且可以降低在实验室中的人员的工作量。
缺点是，如果你做的是远程可用性研究，你就失去了切身观察人的机会。实际上能够观察到人是很有价值的。
2）外包的在线可用性
外包的在线可用性非常适合那些没有大量资源的人们：您的公司没有研究人员，您只想知道人们在你的网站体验之后的看法。
许多公司允许您利用完全的外包可用性。 UserTesting.com（www.usertesting.com）就算是一个这样的公司。它拥有一大群表示有兴趣参加可用性测试的人员。您可以把可用性研究委托给他们，目前价格实惠为29美元（或者更少一些），每个参与者通过了你的测试，然后你得到一个关于参与者的经历的视频，以及一个简短的总结了参与者的想法的书面报告。性价比还不错的。
外包的在线可用性的工作原理：
1.您在www.usertesting.com上注册该项研究。您要在上面确定以下这些内容：
- 你的网站
- 您希望测试参与者完成的任务（“找到产品x并完成结帐流程”或者“在网站上找到错误代码D78295的解决方案”）
- 你喜欢的测试参与者数量
- 您寻求的测试参与者的类型（指定性别，年龄，收入，计算机技能等）
2.公司取得您的数据，将它转换为一个任务列表，并发送到他们数据库中符合（或接近于）您所确定的标准的相关参与者。
3.您会收到用户的视频，包括音频，鼠标移动和其他特征，以及一个简短的书面报告。报告包含了问题的答案，例如是什么导致他们离开了网站，如何去改进网站等等。
4.您可以执行可用性研究概述过的同种类型的分析。
5.这一步总是一样的 - 你演示你的分析，然后烦扰你公司的重要人物以便实施这些更新。
所以，你看到了，这个过程简单，实惠。会有真实的人告诉你：他们在体验你的网站时可能遇到了什么样的问题，或者网站的什么地方让他们很惊喜。
使用这种完全外包的方法，缺点如下：
- 在获得确切类型的测试参与者时并没有很大的灵活性。某些公司如UserTesting.com，允许您使用您自己的参与者（也许是您使用Ethnio招募到的参与者），会是最佳的。
- 与实验室可用性研究一样，这种情况也是人为设置的，特别是因为测试成员可能只是想要UserTesting为每项研究支付的$ 10。
- 你牺牲了对非结构化体验的测试能力，例如可以告诉用户“只需要做你通常在我们网站上会做的事情。”
这些缺点是难以避免的，因此在你考虑外包时要仔细评估。然而，有时你想要对网站的快速，直接的反馈：你希望人们，甚至是随机的人们，去发现漏洞找到对你可能不可见的问题。在这些情况下，外包的可用性提供了一种获取用户反馈的极具效益的方式。不管你公司的规模大小，你没有理由不去使用这样的一个策略，从真正的使用您的网站的人们那里获得反馈。
三 调查：真正可扩展的听力
可能没有其他的与调查一样高效，可以直接聆听您的客户的方法了。由于众多原因，调查是获取更多访客数据的最佳工具。这里只说几个原因：
- 调查通常是非常实惠的，并且提供了好用的免费选项。
- 您可以把调查作为连续的获取方法; 也就是说，你可以随时使用它。
- 它们提供了有助于定量和定性分析的数据组合。
- 调查及时; 通常你可以立马发现问题和机会。
- 你不必做很多调查就可获得很多的益处; 样本规模可能很小，因此您不需要与网站上的每个访客进行交谈，即可获得具有统计显著性的样本数据。
- 调查已经变得很高端了; 他们脱离了烦人的，巨大的弹出式调查。现在的调查可以使用Cookie，与Web分析的Clickstream数据集成，并为特定需求提供独特的形状和大小。
您对理解用户研究的“为什么”的问题的追求应该不仅仅包括调查，但是如果不包括调查的话，您的真正了解客户的能力还是差一截的。
调查类型
你是否认为所有的调查都是会在网站访问正中出现的，巨大的、丑陋的弹出窗口？当您开始使用调查时，您会有其他更好的选择。具体来说，主要有两种类型的调查，每种调查都具有不同的利弊，都有不同的目的。
1）页面层的调查
页面层的调查通常使用一种被动邀请的模型，并为重点的目的或任务收集微观方面的数据。图6.3展示了页面层的调查的三个邀请例子。
如你所见，调查邀请可以采取不同的形式; 然而，它通常会位于浏览器接近末尾的地方。如果某用户对提供反馈感兴趣，那么他或她将通过点击“邀请”来启动调查。
a 页面级调查的好处
- 页面层的调查在网页上总是可用的。
- 他们专注于一个任务，例如：获得用户对功能的评分，报告错误或有关网站的问题，或者了解网页是否有帮助。
- 提供了许多免费或实惠的选项，例如UserVoice和Kampyle。另外，创建自己的页面调查是非常简单的; 你需要的所有是一个适当聪明的IT人员，而且我们大家都知道，所有IT人员何止是适当聪明！
- 倾听最沮丧或最活跃的那些客户。没有比倾听那些最喜欢你或最讨厌你的人更好的礼物了。
b 页面层调查的挑战
- 页面层调查的邀请模型是被动的; 因此，只有真正想与你交流的人才会和你说话。你不能得到一个完整的观点（也就是说，如果你的用户开心的来了，然后离开了，那么他或她不太可能会停下来并且提供反馈 – 尤其在调查是一个微小的、添加在白色背景上的白色标志的时候）。
- 页面层调查会非常有效地收集本身的反馈，即关于特定页面的反馈（用户单击了一个特定任务的邀请或反馈衔接）。
- 这些调查不太擅长收集关于意图或完整的网站体验的反馈。
- 很难从页面调查中控制或获得足够大的样本容量——您的邀请是特定于某个页面的，您有很多的页面，然而很少有访客会填写每个页面的调查。把来自您网站的所有页面的调查结果拼凑起来，并识别数据中的重要模式，是很困难的。
页面层的调查对衡量网站上单个网页或内容的效果非常好（比如技术支持网站）。他们也很擅长收集重点任务的反馈（比如对这个功能列表的评分）。
许多提供页面调查的公司会告诉你，他们也可以用来作网站级调查。他们并不是完全可信的。邀请模型根本不适合收集网站的体验数据。
2) 网站级的调查
网站级的调查有一个更加主动的邀请模型。他们收集了有关客户的意图、行为和客户体验的宏观层面的数据。
世界似乎已经为网站级调查确定了两种类型的邀请模式。第一种方法是使用弹出式窗口或隐性弹出窗口。在这种情况下，一旦访问者进入您的网站，或在他（她）访问的某个时间，弹出了一个调查窗口（见图6.4）。窗口通常包含了您希望访问者回答的所有问题，一般会是25到38个问题。
由于消极的用户感知以及更加先进的技术（比如提供调查邀请体验的Ajax），访客会话中间弹出的调查窗口逐渐被弃之一旁了。
第二种方法是对调查邀请使用基于权限的模型。在这种情况下，当访客进入您的网站时，礼貌地请求他们参与一个调查 - 这是很重要的 - 在他们的访问结束之后。在图6.5中，您会注意到我收到一个DHT ML层，请求参与iPerceptions和Crowd Science网站（他们都是网站级的调查提供商）的调查。有一个明确的“是”或“否”的选择。如果我单击了“是”，那么在我访问结束时，我会收到一个调查。基于权限的调查在Web上是越来越常见。
a 网站层面调查的优点
- 网站层面的调查格外地擅长捕获关于访问的宏观体验、意图和结果方面的信息（例如，“是什么把你带到这的？”或“你为什么这么喜欢我们？”或“你有多大的可能性会去我们的零售商店呢？”）。
- 这些调查提供了对看到该调查的人数的大量控制。您可以设置它，然后会只有5％的网站访客收到了邀请。您也可以利用Cookie，因此同一个用户每三个月只会看到这个调查一次。
- 如果您的网站层调查不是一个冗长的预处理弹出窗口，您可以使用诸如Ajax之类的技术，使体验变得更容易，并且使用条件逻辑来着重您的问题（例如，用户已经说了她是个学生，那么为什么你还要去问她的公司的规模？）。
- 邀请模型是主动的，这意味着您将获得一个明显更加多样化的参与者样本。您会为了多个目的而找到在您网站上的用户，您会得到快乐或悲伤或只是还行的那些人。反馈会更具代表性。
b 网站层调查的挑战
- 通常情况下，高端的网站层调查并不是免费的（简单的调查比如4Q是免费的，并且可操作的; 我将在下一节详细讨论这一点）。
- 您会需要您公司的某个人员或您的调查提供商的顾问帮助您从大量丰富的数据中做筛选。
- 虽然您可以轻松地辨别出大的问题，例如购物车损坏；但使用网站层调查是很难识别微观方面问题（例如，“您怎么看待页面xyz？”）的。
网站层调查非常适合衡量您网站的效果、客户的宏观经验以及对您的公司、品牌和离线生存的预估影响。
许多提供网站层调查的公司会告诉您，他们可以用作网页层调查。他们并不是完全可信的。该邀请模型根本不适合收集页面层的体验数据。
每种类型的调查在生活中都有特定的目的。无论是获得一个特定网页的反馈，还是了解您网站的完整的客户体验，对您想要完成的任务进行压测，然后选择正确的那个武器。
一个最大的调查错误
作为人类，当得到一个了解某事的机会时，我们会疯狂。我认为我们只是天生地想知道尽可能多的事情。
在调查的背景下，这种对知识的渴求转化为对每一个可能的问题建立冗长而复杂的调查，或者更可能是任何我们公司的人都想要回答的每一个可能的问题。结果如图6.6所示。
虽然我们能够知道很多，但我们对能做什么有严格的限制。我们经常不能平衡“可知的”和“可行的”。我们可以问到我们的网站访客的内衣尺码和他们的眼睛颜色，但是这些信息是完全无用的，因为我们不能采取措施。那为什么要问呢？
当我们提了太多的问题时，实际上会怠慢了客户。与我们的客户的每一次接触都是改善我们的品牌体验的机会。通过询问我们的客户如此多的问题，其中很多是不必要和不可行的，也就是在默默地告诉我们的客户：“我们不珍惜你的时间; 我们认为仅仅询问你所需要的东西并不够我们尊重。”
图6.7是一个真实的调查，公司的名称被隐藏了起来以保护不那么无辜的人。你会注意到仅仅一个问题的长度以及顶部窗口的进度点; 每个点代表着一个复杂的问题。
尊重你的客户和他们的时间。只问那些你可以采取措施的问题。它对你的客户有好处，对你也有好处 - 记住，收集所有这些数据之后，你仍然需要时间去分析它！
三个重要的调查问题
我们已经知道我们的Clickstream数据（是什么）需要定性数据（为什么）来帮助发掘真正可行的见解，享受“啊哈，这就是他们想要的！”的时刻。
如果您在用户研究方面没有做其他任何的事情，您必须对你网站的访客询问以下三个问题。当然，要借助退出调查。
这三个简单的问题将提供答案，可以填补您对客户的认知的重要差距，并且会提供可操作的数据，将帮助您更好地了解您的Clickstream数据。更何况，您得到的答案将帮助您想出改善您的网站和满足您的客户需求的具体想法。
Q1：您今天访问我们网站的目的是什么？
我们的大多数人，无论是分析师，营销人员还是高级决策者当被问到这个简单的问题时都会猜错：“你认为人们为什么会来到你的网站？”，但现在你不用猜。
礼貌地问您的网站访客为什么会访问您的网站是找出这条关键信息的最好的方法之一。不同的主要目的的分布和答案将会令人大开眼界，他们帮助解释了你的Clickstream数据中的那么多事情，以前的它们看起来没有任何意义！例如，在一个电子商务网站上，您可能会了解到少数的网站流量来这里是为了研究未来的购买。或者在一个非营利网站，您可能会了解到大多数人没有捐款，因为他们并不能很容易地找到他们的捐赠将用于行政目的的比例。
Q2：你能够完成你的任务吗？
我问你的网站有什么崩溃了吗，你可能就会发现一些问题。我问分析师Michele她怎么想，她会提出其他问题。我问HiPPO，他或她会有一些别的建议。
所有这些答案都不重要。重要的是你的客户认为什么是有效的或者什么是完全不能用的。所以，为什么要用假设而不问他们呢？
我经常被问到最重要的Web分析指标是什么。我的答案是任务完成率。它比转化率或收入或其他任何指标都更重要。借助任务完成率，我知道了为什么人们会来到我的网站（他们的主要目的），我了解了他们无法完成的哪些任务（任务完成率），因此我知道确定的要修复的地方（见图6.8）。
一旦我拿到这些数据并优先考虑网站的改进后，转化率或收入没有理由不会上升（以及许多其他的积极影响！）。
Q3：如果你今天没能完成你的任务，为什么呢？
在我们强大的调查中的第三个问题提供了一个简单的文本框：用户可以输入任何他们想表达的; 它是一个开放的客户之声（VOC）。它给客户一个机会：用自己的话告诉你他们无法做想做的事情的原因；它允许他们不受限制的、自由地提出能够修复您的网站的想法和建议。
您可以将答案划分为常见的主题，然后针对那些无法完成任务的用户对每个主题出现在开放VOC的次数百分比进行评估，来分析这个问题。这将成为你的待办事项列表，关于你应该做些什么来改善您的客户的网站体验。
发布以客户为中心的战略
前面三个简单的问题将会提供丰富的意见，帮助您实现以客户为中心的战略。您可以自己创建这个“三问题”调查，并在您的网站上实施。或者你可以使用iPerceptions的4Q免费的退出调查。 （爆料一下：现在我是iPerceptions的顾问委员会的成员。）
4Q调查（http://4q.iperceptions.com）是一个基于权限的调查，18种语言可用。您可以控制看到这个调查的网站流量的百分比，并且4Q还使用了Cookie来确保同一个访客在30天内只会看到调查一次（如果他们满足抽样标准的话）。
当人们退出网站时，该调查将会问他们前面提到的三个问题，以及用于计算客户满意度的另外一个问题：“今天的访问中，您对整体的网站体验的评价如何？
本书附带的CD中含有一个视频，解释了调查及其使用方法。因此，今天您可以免费地了解到网站的访客想与您分享的奥妙。多么酷啊！
选择一个在线调查提供商的八个建议
某些时候，您可能想保留一个外部的调查供应商，以帮助满足您的调查需求。如今有众多公司可以提供非常先进的调查能力，在你能够想象的每种可能需求。
记住，你要决定的不是与什么公司合作，而是你的具体需求是什么。您还需要确定是否需要一个页面层或网站层的调查提供商，因为它们是不能互相取代的。
从我的亲身经验也经常是痛苦的经验中，我得到了下面八个因素——选择调查供应商之前应该考虑的。
- Tip 1：数学严密性
无论您选择哪家公司，找一个可以对您的结果应用数学严密性的合作伙伴。很遗憾的是，被误解的调查结果通常是因为在分析中应用了不严密的数学逻辑（或者因为有人决定对带有扩音器的鼠标做出反应）。
衡量调查结果不是简单地取答案的平均值，因为平均值会说谎; 要衡量分布并且做回归。当您使用一个调查时，您不必应用统计信息和统计显著性，压测以确保您的供应商做了那份工作。然后，您可以专注于分析，而不是报告。
- Tip 2：事实细分的能力
分析不是静态的。事情会变化。你在数据中发现了有趣的内容，你想深入一些挖掘。例如，对于来自Microsoft Bing的用户，任务完成率在24小时内下降了9点，您想知道是为什么。或者您仅仅想查看三次访问您的网站以下载补丁以及任务完成反馈为否的用户的调查结果。
您希望能够快速有效地细分数据。
寻找一个可以对数据进行实时细分的供应商，因为聚合结果会说谎。对于一些供应商，并没有细分功能; 送这些供应商离开。其他一些供应商，您将会按需获得细分。也就是说，您必须请求或乞求细分数据，然后过一会他们才会将其发送给您。如果没有其他选择，请与这些供应商合作吧。然而，您理想的供应商能让您访问一个在线环境，在那里您可以从一开始就随意地切分数据。这就是你的在线调查供应商的样子！
- Tip3：基准和指数
语境为王！虽然知道你的分数从53上升到了57是很高兴的，但你真的要了解行业的基准是70。当你告诉他们你的分数时，很少有高级管理人员会采取措施；但当你告诉他们：“我们的分数是一个x，而我们的主要竞争对手是x + 10，行业基准是xy。”他们就会来到车尾，把预算给你。
其他微妙的力量也在发力。通过把您们的业绩与行业以及竞争对手进行比较，您可以对数据进行个性化。你做得好还是不好，已经不再是你的看法了; 行业基准会显示您的结果。这种信息会让高级决策者惊讶。
寻找一个能够提供一套强大的基准和指数的供应商。
- Tip 4：开放式文本分类
最有价值的洞察将不是来自定量分析，而是来自对客户反应的“开放式文本”的定性分析。这是你要做的最难的分析，即便你是一个中型规模的公司。
没有一个供应商会真正地擅长于分类和解析“开放式文本”响应，因为它是一个难以解决的问题，但你要问供应商他们能提供什么样的功能。如果他们说他们可以立即免费地做到这一切，不可尽信，并且要求他们在您的网站的数据中证明它。
你想在一些不太理想的选择中选择最好的那个。不从供应商方面的任何缺点出发的这些选择是不明智的 - 开放式文本分类是供应商仍致力于改进的一个领域。
- Tip 5：调查邀请的类型
早些时候，你了解了各种各样类型的调查邀请：退出，弹出窗口，隐性弹出，主动和被动。每种类型的邀请都有优点和缺点。
对你的供应商进行压测，看一看他使用了什么方法，以及是否满足你的需求。理想情况下，您的供应商将允许您测试不同类型的邀请以及邀请的内容，颜色，外观和感觉。
退出调查最适合网站层的调查，但您想对自己的情况进行验证。如今许多页面层的调查供应商也提供了自定义选项。使用它们。
- Tip 6：Cookie复杂性
在搜索调查供应商时，您需要一个可以设置Cookie的公司。 Cookie确保了一旦访问者接受了调查，他们将不会再看到另一个调查，例如90天之内，无论他们是否完成了调查。最后一件你想做的事情是不让你的客户对调查疲劳。
您还可以与那些能够让你仅仅查看某些类型的用户的公司合作，例如已查看x个网页或来自www.zqinsights.com的用户等等。问一问您的供应商是否提供了这样的复杂性。一些有另一些没有; 根据您的需要，这个选项可能重要或可能并不重要。
几乎现在的每个供应商都允许您设置抽样率（您网站上能够看到调查的人数）。但要验证一下你是否也会获到那个功能。
- Tip 7：与Clickstream数据集成
您的调查供应商是否允许与您的网站分析工具集成？提出这个问题，并详细地问他们是怎么做的。确保你让一个聪明的IT家伙看了该程序，伴随着FUD（恐惧，不确定性，疑问）检测器变高。
集成非常重要，不是要立即进行，而是经过几个月的调查后——因为您会想知道您最满意的访客在网站上浏览了什么内容，哪些营销或关键字带来了最不满意的流量，以及Clickstream数据看到推荐工具的用户推荐的可能性大小。
将调查工具与您的网络分析数据集成一起很复杂，需要一些工作量，但它可以带来实实在在的回报。
- Tip 8：友好地试用
当您提过了前面的问题并做出选择时，很有可能您将与供应商的营销和销售部门打交道。判断真实情况下的调查的有效性最好方法是做一个试用。如果你的供应商是真正好的，他们会愿意与你进行一次使用，比如说至少一个月到六个星期。如果供应商拒绝提供试用，那么他们可能并没有一个有效的工具。
即使你必须先支付一小笔钱才能试用，也是一个很好的主意。您将了解该工具是否适合您，可能更重要的是，您将了解你是否可以与供应商的人员融洽合作。记住，你不是简单地购买工具;你几乎通常买的是一个关系。
就这样：在调查供应商中寻找这八个非常简单的功能。它们都是有助于确保您建立一段长期，富有成效和互惠互利的关系的特质。
四 启用Web的新兴用户研究选项
我非常喜欢上网的一个原因是网络每天都能实现大量的革新换代。即使在我们微弱的网络用户研究领域，也有如此多新的选择对我们可用，这些选择把以前非常困难的事情变得可能了。
在结束这个可爱的章节时，我想分享四个这样的选择。每一个都是以自己美妙的方式独一无二着。每一种都是一个指标，甚至适用那些在角落里的冷僻选项 - 所以请擦亮你的眼睛！
1 竞争性的基准研究
你总是想知道你的支付体验与你的竞争对手相比是好还是坏。或者访客在你们的网站之间找到问题的答案或者一个产品是否很简单。
在过去，找到所需要的所有人或获得预算去做这些类型的研究，是很困难的。不会再这样了。如今Web上的许多公司提供了一种简单和可扩展的方式来实现这些对比。你告诉他们你想要比较的任务或过程以及你的竞争对手网站是哪个。他们拥有很多的用户来执行这些任务; 然后他们收集数据并提供分析结果。UserZoom就是一个这样的公司，可以在www.userzoom.com上使用它。
最酷的事情是，Web允许您以大规模和低成本完成这些对比，在过去你是永远不可能做到这些的。 我不会再告诉你，这种类型的数据在与高级管理层合作以及促使他们做正确的决策（根据客户反馈改进客户体验）方面效果会是多么立竿见影。
2 快捷的可用性测试
www.fivesecondtest.com实现的概念非常明智的是它的简洁。
上传您需要测试的网页。选择你想要进行的测试类型。然后您发送url到一个人群列表（现有或潜在客户），或者您可以在您的Twitter帐户发布来邀请反馈。
当用户登陆网站时，他们被告知将有五秒钟来看一看一个图像。然后图像（您的图像！）显示出来了。五秒钟之后，图像消失，之后要求参与者列出他们从图像（/网页）中看到并记住的东西。
它是快速的，免费的（至少现在）和简单易执行的。
测试的可交付成果是人们对网页（或图像）的五秒钟浏览后记起的开放式文本总结。这非常适合测试，如果你大力呼吁的行动真的在页面上显示清楚。您的网页上哪些部分的元素是吸人眼球的（而哪些不是的）。如果人们读到图片中的文字，他们会如何反应等等 - 你甚至可以上传一个竞争对手的网页，看看人们如何喜欢它。
Fivesecondtest是一个新生代公司，它们正在实现传统实验室的可用性和大规模的民主化访问。
3 在线卡分类研究
改进一个网站的信息架构（IA）的最好的方法之一是做卡片分类练习。此练习将帮助您获得用户向您提供的如何组织网站的意见。像往常一样，用户输入总是比基于你认为的“应该怎样”而创建的一个IA会好很多。
传统的卡片分类研究方法是在索引卡上写出主要商品的名称，雇佣一批代表性的测试参与者，给他们一堆打乱过的索引卡片，并且要求他们将卡片分类放入相关的商品桶里。这种重组有助于帮你了解如何逻辑性地组织你的网站。
当然，像这样的研究会很昂贵，并且会遭受和进行实验室可用性研究时面临的同样的招聘挑战。打开网络，目前有两个很好的公司可以让您快速有效地在线上创建卡片分类研究：OptimalSort（www.optimalsort.com）和WebSort（www.websort.net）。
下面是它的工作原理：登录到卡片分类供应商的网站，上传您的商品（创建卡片），确定代表性用户（使用实时的招聘方法比如Ethnio或给列表中的人发送电邮），并且发送一封“邀请”电邮。您的用户在线上快速有效地完成了分类练习，然后回答了几个问题。您分析这些数据。每个人都是高兴的。
您可以打开或关闭卡片分类。主要的区别是是否允许用户创建自定义的类别，或者用户是否必须要把事物放入预定义的类目中。当你开始做卡片排序时，我建议使用开放式排序 - 它总是会更有趣，能够看看用户如何对商品分类。
4 人工智能可视化热点图
眼球追踪研究可帮助您了解网站上的访客是怎么使用您网页的内容：什么吸引了他们的注意力，他们是怎么逛网页的，是什么影响了他们的网站导航等等。
你一直想做眼球跟踪研究。哎呀，你以前做过，在你衣袋里有一个燃烧的洞可以证明（是的，他们是很昂贵的）。当然，有人方面的问题。找到合适的人，让他们进入你的实验室，并确保他们在你要求他们随便逛时不会太自我为中心。
如果你仍可以得到相同类型的数据而不必去与麻烦的人类打交道，不是很棒吗？输入Feng-GUI（www.feng-gui.com），一个声称“在视觉效果展示的前五秒钟中模拟人类的视觉，并创建热点图，基于一种预测了真实的人类最可能会看到什么的算法，以及注意力流动”的程序。图6.9显示了Feng-GUI为我的博客创建的热点图。
颜色的强度代表着访问者兴趣多少，热点表示感兴趣的区域，圆圈中的数字是眼睛在区域内的浏览顺序，并且线条代表着移动。
很惊奇，不是吗？无论是免费的还是以非常低的花费 - 只需要支付眼球跟踪研究的一小部分 - 你就可以让计算机处理这个问题。 我们人类是如此可有可无的！
除了所有的玩笑之外，Feng-GUI的家伙使用了一些非常复杂的算法来驱动他们的解决方案。 在我自身的研究中，当你把Feng-GUI自动创建的热点图的结果与实际的眼球跟踪研究进行对比时，会发现他们的程序还不太完善。令人难以置信的是结果已经是多么的好了，他们只会随着时间变得更好。
我不确定近期内的计算机和算法是否将取代与真实的人类合作去了解情绪并且回答你“为什么”问题的需要。但计算机已经足以胜任快速和简略的分析，你应该准备好迎接在未来能够提供更有价值的工具的计算机和算法。