对挑战，百度采取了两条腿走路的策略。一方面，我们设计开发了一套HC系统，将复杂的评估任务拆解，分发给大量非专业人员评价。另一方面，基于宝贵的用户日志，我们设计了一套实验框架，在不影响百度在线服务的条件下开展超大规模的对比实验，获取网民的真实反馈，评判新算法的优劣。评估算法最终是评估用户体验。在实践中，我们获得了很多宝贵和有趣的经验，愿与所有希望深入了解用户的工程师共享。
对挑战，百度采取了两条腿走路的策略。一方面，我们设计开发了一套HC系统，将复杂的评估任务拆解，分发给大量非专业人员评价。另一方面，基于宝贵的用户日志，我们设计了一套实验框架，在不影响百度在线服务的条件下开展超大规模的对比实验，获取网民的真实反馈，评判新算法的优劣。评估算法最终是评估用户体验。在实践中，我们获得了很多宝贵和有趣的经验，愿与所有希望深入了解用户的工程师共享。