The Importance of User Testing

苹果和微软的产品发布并不总是令人满意.

微软的Windows 8是一场用户体验噩梦(也是一场财务灾难), 而苹果的Newton肯定不是我们几年后收到的iPhone.

So what went wrong?

A common oversight. 在发布新产品功能或下一件大事的兴奋中, designers, product managers, 高层管理人员倾向于相信“建立它，他们就会来”的谬论并不适用于他们. 相信这一点，就失去了一个关键的机会: product validation through user testing.

Facts trump opinions. 用户测试是一组有帮助的方法、实践和工具 UX designers 在产品开发生命周期的早期发现问题. 问题发现可以帮助避免财务失误，并改进产品推出.

用户测试是在设计过程的所有阶段进行的, 最具影响力的结果是实现使用 prototypes 因为直接的价值回馈给了设计团队. Much of that value is delivered via qualitative and quantitative 反馈可以让设计师更平衡地了解什么对用户有效，什么对用户无效.

User Testing vs. Usability Testing

用户测试有时也被称为可用性测试，但两者是有区别的. 用户测试是一个包罗万象的术语，包括可用性测试. 它会问这样的问题:“产品是否满足需求?” or, “Does it solve a problem?”

可用性测试与用户测试在几个方面是不同的. 可用性测试的目标是发现产品是否达到了用户的期望. 可用性测试的问题是:“用户是否可以使用产品??这与启发式分析有关. Heuristic evaluations 找出用户界面常见的可用性问题.

In both cases, prototypes and mockups can be used for testing; there are no rules that dictate when to use one or the other. 然而，特别是对于用户测试，原型是首选的测试方法.

用户测试和可用性测试的区别

设计师和用户研究人员可以使用两种类型的用户测试:

• Comparative -比较产品或网站的两个版本. 也用于比较产品或网站的不同特征.
• Explorative -此方法用于测试一系列不同的服务，并为用户提供实际的场景来完成. 这有助于突出市场上可以利用的任何差距，并说明在哪里集中设计工作.

The Benefits of User Testing Prototypes

使用原型执行用户测试提供了有价值的反馈 designers 能否在设计过程的早期使用以避免代价高昂的错误. 原型的一个主要好处是能够确定用户认为产品的目的是什么.

For example, using a five-second test在美国，向用户展示一个页面或产品功能5秒钟，然后要求他们对其进行描述. 考虑到人们的时间限制，以及需要在短时间内了解产品能为他们做什么或不能做什么，这是一个特别相关的测试.

以下是原型在用于用户测试时提供的更多潜在好处:

• Fail fast methodology -比起浪费资源，快速失败和迭代理念要好得多, time, and finances.
• Cost reductions -通过发现产品功能是否适合特定的用户群体，可以节省大量的前期费用.
• Unbiased perspective -用户提供的定性和定量反馈提供了一个客观的观点.
• Uncovering hidden opportunities – When users give feedback, 他们还分享了很多信息，这些信息可以转化为开发新功能的机会.

用户测试工具:焦点小组的兴衰

在互联网让我们能够在任何地方执行用户测试之前，情况是非常不同的, at any time. Generally attributed to sociologist Robert Merton 1946年，用户测试的起源可以追溯到焦点小组.

默顿是群体研究领域的先驱. 他对无线电广播的影响进行了值得注意的研究, 还有军队训练和鼓舞士气的电影. A few years later, 克莱斯勒公司几次成功的营销活动, Ivory Soap, Barbie, 和贝蒂妙厨的成功一定程度上要归功于焦点小组的黄金时代.

Back then, 焦点小组和个人用户测试必须在配备昂贵视听设备的大房间里进行, two-way mirrors, 还有专门的房间叫做“可用性实验室”.苹果有，IBM也有，其他很多公司也有.

到20世纪90年代末，焦点小组已经不再受欢迎. Broadband internet spread like wildfire, 研究人员开始依靠基于视频的交互来进行用户测试. The rest, as they say, is history.

Nowadays, designers 有一个更健壮的用户测试原型工具集吗. 以下是在设计过程的不同阶段使用的一些流行工具:

• UserTesting -一个工具，允许用户体验设计师收集见解，通过绘制的测试池谁已经注册，并愿意提供反馈. 该网站声称，在设置测试后的几个小时内就能提供洞察. 这使得设计师可以收集客观的反馈，而不必亲自去征求用户.
• Bugsee – Mainly used for apps, Bugsee允许用户报告错误/崩溃，并提供有问题的应用程序的视频. This is best used for ongoing user testing.
• Loop11 -与市场上许多最好的原型工具集成, 而且他们还在不断添加更多的集成，因为它们变得可用. Loop11 works with Axure, JustInMind, and InVision. 用户体验设计师和产品团队可以看到点击流、视频、热图等.
• Lookback.io – A powerful qualitative interviewing tool. 它允许设计师实时采访用户，并在他们完成任务时做笔记. 此外，它还提供了一个功能，允许用户在自己的时间内完成任务. Lookback.io is a modern approach to a focus group.
• Hotjar – Provides quantitative user testing. 该工具允许您查看您的网站上的用户活动的热图. 它报告他们去哪里，多久去一次，并获得对不起作用的领域的见解.
• Userlytics -允许设计师为网站、应用程序和原型创建在线和离线用户测试. 他们收集定性和定量数据，并为想要定义目标人物角色的设计师提供全球参与者小组.
• Maze -特定于原型的用户测试平台. 它从用户那里收集可操作的见解，并与InVision、Marvel和Sketch合作. 虽然需要额外付费，但Maze可以从超过5万名用户中提供测试人员.

User Testing Tips

User testing, unlike usability testing, 通常寻求验证产品的需求, and in doing so, forges a different path. 我们不是在问，“用户可以使用这个产品吗??” as with a test such as a heuristic evaluation. 设计师和用户研究人员使用在线用户测试和焦点小组等方法来确定产品是否解决了实际问题.

以下是执行用户测试的一些最佳实践和技巧:

• Use five participants. 建议研究使用五名参与者进行定性测试. Why five? According to experts，这是检测大约85%的问题所需的数字.
• Write great questions. This is as much an art as it is a science. Avoid leading questions 尽可能多地使用“为什么”和“如何”的问题.
• Perform dry run studies. 一个好主意是先运行一个会话，评估，然后扩展到更大的参与者组. 这允许对测试持续时间进行调整, questions, 和/或进行测试的方式.

Summary

是否有可能避免像微软的Windows 8或苹果失败的Newton那样的产品灾难? 是的——通过确保用户测试是设计过程早期的一部分. To many, 用户测试和可用性测试并没有明显的区别, 但是理解它们的区别是很重要的.

User testing validates the need 对于一个产品，当可用性测试验证时 whether the product is usable. 有几个有用的工具可以用来执行 user testing但有一点是相同的，那就是使用原型作为收集反馈的机制. User testing prototypes save time, money, 和资源，最终会带来更好的结果, more successful products.