一、测试中发现的bug
BETA阶段的新bug
| 描述 | 提出者（可能需要发现者在会议上复现） | 处理人 | 是否解决 |
|---|---|---|---|
| 第四关中工作区的循环语句拖动到组件区后成本的大小比原来不一样的问题 | 梁河览 | 何瑞 | 是 |
| 循环语句里面可以加多个循环语句的问题 | 梁河览 | 何瑞 | 是 |
| 盒中物品中顺序不对的问题 | 梁河览 | 马嘉 | 是 |
| 安卓版本在华为honorV20分辨率2310*1080的手机上，第四关以后的结算界面按钮位置不对 | 吴昭邦 | 马嘉 | 是 |
| 7、8、9关关卡选择界面和游戏进度对不上 | 黄贤昊 | 梁河览 | 是 |
| 合成物品时点开合成指南，齿轮会出现在合成指南上方 | 黄贤昊 | 马嘉 | 是 |
| 结算界面上点击选关后没有背景音乐的问题 | 梁河览 | 梁河览 | 是 |
| 4-11关进入结算画面后，工作区内的组件、快进按钮、执行按钮都可以点。而且进入结算画面后点击执行按钮还会在显示得星个数的框后面偷偷合成东西，非常诡异 | 吴桐雨 | 马嘉 | 是 |
ALPHA阶段没有发现的bug
| 描述 | 提出者（可能需要发现者在会议上复现） | 处理人 | 是否解决 |
|---|---|---|---|
| 第三关中合成顺序都对但是结果是合成失败的问题 | 梁河览 | 何瑞 | 是 |
| 合成成功后出来结果界后可以点击运行按钮的问题 | 梁河览 | 马嘉 | 是 |
二、场景测试（scenario testing）
-
经常接触手游的小学生群体
-
场景测试：小徐
-
用户需求
1.想要在学习闲暇之余晚一些有趣的游戏进行放松
2.想要玩一些有营养的游戏，能够边玩边学
-
软件提供的功能
1.通过简单明快的拖动和组合就能实现指令编辑的功能
2.有趣益智的解密关卡
-
场景描述
1.又到了星期六，作业也写完了，又可以玩爸妈的手机了。
2.但是上周玩天天酷跑的时候被爸妈说这游戏没有营养，纯属浪费时间，玩了一会手机就被收走了，还叫我去多看看世界名著
3.在应用商城中搜索有趣的新游戏，咦~发现了一个似乎很牛B的游戏---"源码召唤",这"炫酷"的场景，这"精致"的UI，还能在游戏中学习编程原理。糟了，是心动的感觉
4.和爸妈说这是一个教育游戏，我玩手机的时间延长了整整一个小时！
-
对编程有兴趣，希望通过游戏初步学习编程的群体
-
场景测试：小刘
-
用户需求
1.希望通过形象简单的方式了解编程原理
2.希望在短时间内了解编程的原理和魅力
-
软件提供的功能
1.包含顺序执行、循环和选择等编程思想的关卡设计，易于了解编程原理
2.通过拖动和组合来实现编程设计，形象简单
-
场景描述
1.听说现在IT行业非常的火爆，要不要试着学习一下编程
2.这C++Primer看的我头都大了，感觉在看天书，往后翻翻怎么还有30多页才结束这一节
3.编译器是什么东西，怎么装起来这么麻烦。环境又是什么，还要配置？
4.不行累了，玩会手机，就没有轻松一点学习编程的方式吗
5.这个叫“源码召唤”的手游似乎不错，画风轻松休闲，上手简单明快，还能学习编程原理，爱了爱了
-
不了解编程，希望通过游戏等轻松的方式了解编程是什么的群体
-
场景测试：小陶
-
用户需求
1.不想深入学习编程，但想了解编程
2.希望学习一些编程的基本概念
-
软件提供的功能
1.无需了解编程原理即可进行游戏
2.包含顺序执行、循环和选择等编程思想的关卡设计
-
场景描述
1.最近课间的时候有好几个学习成绩不错的同学一直在讨论一个我听不懂的话题
2.我作为一个学霸上知天文下至地理，但是他们说的什么c语言，什么循环、选择语句为什么我都不知道，这是什么潮流吗
3.再这样下去我会变的格格不入的，得想办法了解一下他们口中的编程
4.这个周末我玩了一款叫“源码召唤”的游戏，已经完全掌握编程的原理了，虽然并不会编程，但已经可以快乐的讨论这个话题了
三、回归测试
在Alpha阶段我们完成了基本功能的实现和顺序关卡的制作，Beta阶段的新功能主要集中于内容的拓展和原系统的优化和改进
在添加选择和循环组件后，指令编辑系统的正确性
在Beta阶段我们添加了循环和选择部分关卡，为此在指令编辑系统中加入了循环组件和选择组件。为保证新加入的组件没有对原来的只支持顺序执行的指令编辑系统产生影响，我们对指令便系统进行了回归测试。将新加入的组件与原有的组件进行排列组合，覆盖所有类型组件的组合情况，对指令编辑系统传出的结果进行正确性验证，保证新加入的组件并未影响指令编辑系统的正确性
在修改成本系统和新手引导后，顺序部分关卡的正确性
在Beta阶段我们对原来的许多系统进行了优化和改进，在原有的顺序部分的关卡中对新手引导和成本系统、合成指南等进行了修改。为保证新加入的修改没有影响顺序关卡的正确性，我们对此进行了测试。测试人员使用Alpha阶段我们对关卡正确性的测试方法对这些原有关卡重新进行了测试，在保证原有关卡正确性的同时也测试了新的功能
四、测试矩阵（test matrix）
| 测试机型 | 分辨率 | 开始场景 | 关卡选择场景 | 第1-3关 | 第4-6关 | 第7-9关 | 第10-11关 | 备注 |
|---|---|---|---|---|---|---|---|---|
| 红米K20Pro | 2340*1080 | 正常 | 正常 | 老问题，结算界面场景全黑（跟Unity里运行效果不一样） | 结算界面一直闪烁，无法退出或者点击下一关，只能关掉游戏进程重进 | 同左 | 同左 | |
| 华为mate20 | 2244*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
| 三星 galxy wide 3 | 1280*720 | 正常 | 正常 | 结算界面在游戏界面后面。应该在前面。 | 同左 | 同左 | 同左 | |
| 华为P40 | 2340*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
| 华为P10 | 1920*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
| 华为 HONOR V20 | 2310*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
| MI 9 | 2340*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | |
| 红米Note8Pro | 2340*1080 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 锁屏后解锁游戏界面有一半黑屏且在任何界面无法使用系统自带的返回键 |
五、出口条件（exit criteria）
-
基本判断标准
安卓端：能够在绝大多数安卓系统手机上完整的跑完从开始界面到第十一关结束的整个游戏流程且不出现影响正常游戏的BUG
PC端：能够在绝大多数Windows系统PC上完整的跑完从开始界面到第十一结束的整个游戏流程且不出现影响正常游戏的BUG
-
判断标准详述
设备兼容性
由于我们的项目性质特殊——是一个游戏，所以对于设备的兼容性不能简单的依靠能否正常运行来判断。即使在有的机器上能够运行，但依然可能因为屏幕分辨率的问题导致UI错位或因为设备机能的问题导致频繁的卡顿、掉帧从而影响正常的游戏。
即我们项目的设备兼容性需要考虑两方面——能够运行和能够游玩。
能够运行的标准很简单，能够在设备上下载安装并打开我们的游戏即可判定为能够运行
能够游玩的标准则较为复杂，需要保证在当前设备的分辨率下UI显示和交互均正常，在当前设备的机能下各项游戏功能均能正确运行，不会出现导致功能失效的情况出现才能判断为能够游玩
游戏完整性
Beta版本的游戏内容为开始场景、关卡选择场景、顺序部分关卡（1-3关）、循环部分关卡（4-6关）、选择部分关卡（7-9关）和附加关卡（10-11关）。完整性即为保证这些场景能够正常的运行和衔接，用户能够体验到完整的Alpha版本的游戏流程
用户体验
用户体验的标准可以分为硬性和软性两部分
硬性用户体验是必须保证的，是游戏发布的基本标准之一。即保证没有恶劣的影响游戏体验的bug，例如游戏闪退、游戏卡死、关卡无法正确加载等直接影响玩家游玩游戏的问题
软性用户体验是非必须的，但对提升软件评价很有帮助。比如详尽的新手引导，简单易交互的UI设计，合理的难度曲线等使玩家觉得游戏友好、好玩的体验要素。但用户体验往往是用户评价游戏是否是一个好游戏的主要标准。因此在Beta版本我们对提升用户体验做了充足的工作，为每一关都添加了详尽的新手引导，保证一个毫无相关游戏经验的人也能流畅的上手我们的游戏。在UI方面的设计也是以形象达意为标准，努力做到优良的用户体验