估算
测试对软件工作量的估算的准确性
测试评估软件系统的状况的准确性
关注点：
- 不准确的估算
- 不适当的开发过程
- 不真实的状态报告
如何知道对工作量的估算是正确的
估算工作量的工具很容易出错
对软件工作量的估算需要策略
五个一般的方法
- 推测
- 加入一些约束条件
- 以一些数据为基础
- 模拟进行工作
- 将一些参数模型化
参数模型
- 回归模型：将现有的参数与已有的历史数据相拟和。
- 启发式模型：对历史数据进行观察和解释
- 现象模型：假设软件开发过程可以依据一些更广泛的可适用的过程解释。
模型遵循的共同模式
- 估算软件的大小
- 将大小转化成人力的估算，并且作出可能的成本的估算
- 依据项目的特性进行估算的调整
- 将整体的估算划分到不同的项目阶段中
- 估算不包括技巧上面的人力和计算机的运行时间
- 将以上内容相加
对估算进行检验
- 检验估算模型的合理性
- 检验模型是否包含了必须的测试要素
- 检验模型的正确性
检验估算模型的正确性
- 重新进行估算:输入是否正确;输入是否合理;对数据的计算是否合理有效
- 比较延期的估算是否符合项目实际情况
- 让谨慎的人来作测试验证工作
- 对软件中的冗余价值估算
影响估算正确与否的因素
- 软件规模
- 新设计新代码的比例
- 复杂程度
- 设计和编码的困难
- 使用什么语言
- 安全性
- 需求的挥发性
- 组织因素:项目计划/人员/开发环境/硬件资源/人员利用率/膨胀因素
- 估算就是估算，不是保证书
追踪测试工作的瓶颈
- 工作完成点
- 同配置管理系统紧密的结合
- 如何使用:模块列表/里程碑/工作完成点
- 用计算所有工作的完成度来检查系统工作过程。
测试计划
开发测试计划
目标:
详细的描述怎样能成功的完成测试工作，其中应包含必须的资源和实施计划。
可能的不利因素：
- 没有得到足够的培训
- 心里准备不足
- 缺乏测试工具
- 缺乏管理的标准和支持
- 缺乏客户和最终使用者的参与
- 没有足够的时间进行测试
- 对于独立的测试人员过度信任
- 版本改变的太快
- 测试人员处于不受重视的情况中
- 不能说不
实施过程
- 听取各方面的意见和建议
- 标明项目风险:测试要素/联系测试矩阵
- 建立测试计划
- 对计划进行评审
建立测试计划
定义测试目标
开发测试矩阵
- 软件模型
- 结构特性
- 批量测试的阶段和用例
- 为在线系统作概念上的测试脚本
- 软件测试矩阵
定义测试管理 - 测试计划的一般性信息
- 定义测试里程碑
- 定义管理上的检查点
书写测试计划
评审测试计划
涉及评审的问题
- 评审测试的开始时间是否会延期
- 有没有抵触评审的角色
- 一段时间内是否很难得到工作的检查信息。
- 更换工具有可能导致他们反感评审工作
- 评审结果可能会影响对个人的工作评价
对于最终成品的检查 - 项目的需求规格说明书
- 软件返工/维护的文档
- 升级后的技术文档
- 被更改的源程序
- 测试计划
- 用户手册（包括在线帮助）
正式评审中的角色 - 缓和剂（SQA）
- 读者
- 记录者
- 作者
- 检测员
正式评审发现的缺陷应包含的信息 - 起因
- 类型
- 分类
- 级别
评审流程
计划和组织
通篇的讲解（可选）
个人准备
评审会议
修订和反复
需求阶段的测试
测试成本
被设计用来减少测试成本
IBM的数据:大约 60个缺陷/千行;2/3的缺陷产生在需求和设计阶段
在需求和设计阶段发现的缺陷修正的花费最小
修正系统测试阶段发现的缺陷，花费是以上的10倍
发布产品以后，修正缺陷的花费是原来的100倍
生命周期的测试概念
- 在软件开发过程中持续的进行测试
- 在尽可能早的阶段点去修正缺陷
- 需要正式的开发流程来支持
- 组建测试团队
- 当开发开始进行的时候，测试就开始进行了
需求阶段的测试
所有的花费都是值得的
大部分缺陷将不会进入到设计&编码阶段
目标
- 需求正确的表现出了用户的需要
- 需求已经被定义和文档化了
- 花费和收益成正比
- 需求的控制被明确
- 有合理的流程可遵循
- 有合理的方法可供选择
准备风险列表 - 确定风险组
- 确定风险（风险分析 & 风险检查表）
- 建立控制目标
- 确定有足够的控制力度
分析测试要素
- 需求的设计是否遵循了已定义的方法
- 提交了已定义的功能说明
- 定义了系统界面
- 已经估计了性能标准
- 容忍度被预先估计
- 预先定义了权限规则
- 需求中预先定义了文件完整性
- 预先定义了需求的变更流程
- 预先定义了失败的影响
- 权限定义
需求走查
- 建立基本规则
- 选择小组/通报参与者
- 项目介绍
- 问题/建议
- 形成最终报告
设计阶段的测试
设计阶段的测试任务
- 给测试要素打分
- 分析测试要素
- 对设计进行评审
- 检查修改的部分
交付的产品
- 输入说明
- 过程说明
- 文件说明
- 输出说明
- 控制说明
- 系统流程图
- 硬件和软件的需求
- 操作手册说明书
- 数据保留的策略
分析测试要素涉及的内容
- 设计了对数据完整性的控制
- 设计了权限规则
- 设计了对文件完整性的控制
- 设计了审计追踪
- 设计了发生意外情况时的计划
- 设计了如何达到服务水平的方法
- 定义了权限流程
- 定义了完整的方法学
- 设计了保证需求一致性的方法
- 进行了易用性的设计
- 设计是可维护的
- 设计是简单的
- 交互界面设计完毕
- 定义了成功的标准
- 需要同实际操作者沟通
对设计进行评审
选择评审组成员
对评审组进行培训
通报项目组
分配足够的时间
只对文档化的事实进行评审
和项目组一起进行评审
对评审形成建议
和项目组对建议一起进行评审
准备正式的报告
编码阶段的测试
测试的职责
- 编码是一个纯技术的工作，几乎不需要用户的参与
- 项目领导者有参与测试的责任
- 监督过程的有效性
形成的输出
- 编码说明书
- 程序文档
- 计算机程序列表
- 可执行的程序
- 程序流程图
- 操作介绍
- 单元测试结果
关注点
- 完成对数据完整性的控制
- 定义完毕授权的规则
- 完成对文件完整性的控制
- 实现审计追踪
- 规划出意外情况发生后的处理计划
- 对系统如何达到预定义的服务水平做了计划
- 完成了对安全问题的处理流程
- 编码工作是依据规定的方法完成的
- 编码与设计相一致（正确性）
- 编码与设计相一致（易用性）
- 代码是可维护的
- 编码与设计相一致（简洁性）
- 编码与设计相一致（耦合性）
- 已开发了操作流程
- 定义出程序成功的标准（性能上）
建议的测试方式
桌面调试
- 语法上的
- 结构上的
- 功能上的
代码互查 - 建立基本的互查规则
- 选择互查的team
- 对成员进行培训
- 选择互查的方法
- 提供互查的材料
- 流程图，源程序，典型的处理流程
- 对互查进行必要的管理
- 给出互查结论
- 提供最终的报告
编码阶段测试需要解决的问题
- 系统是可维护的吗？
- 系统说明是否已经完成了？
- 编码是否按照既有的标准进行，过程是否易于实践？
- 是否有足够的测试计划用来评估可执行的程序？
- 是否编制了足够的文档。
测试阶段
在需求，设计，编码阶段多进行一些测试，在系统测试阶段就会少一些问题。
文档
- 测试阶段的测试计划
- 测试用例
- 前期测试的测试结果
- 第三方测试反馈，例如：计算机操作人员
- 正式的测试总结报告
测试用例的概念是简单的
建立有效的测试用例是复杂的
设计测试文件
- 测试用例应当包含合法的和非法的输入
- 每一个动作只进行一次关键操作
输入测试数据
分析结果
尝试将测试文件违反程序的规则进行输入
典型的测试类型
- 手册，回归，功能点测试
- 一致性测试（授权）
- 功能点测试（完整性）
- 功能点测试（审计，追踪）
- 覆盖性的测试（测试的连续性）
- 压力测试（服务水平）
- 一致性测试（安全性）
- 依照预先定义的测试方法
- 功能点测试（正确性）
- 支持手册的测试（易用性）
- 检查（可维护性）
- 灾难性的测试（可携带性）
- 功能和回归测试（耦合性）
- 一致性的测试（性能）
- 操作性的测试（易用性）
测试总结
测试报告
目标
- 表示出目前项目的实际状况
- 明确什么是测试做的工作，什么是不作的工作。
- 给出系统的操作性能的评价
- 明确什么时候系统可以进行产品化的工作
关注点 - 测试报告只有真正需要的时候才有用，需要配合市场和管理
- 测试的信息是不充分的（对于评价一个项目来说）
- 测试状况并不能真实的反应个人的状况
测试期间的数据收集
有关测试结果的积累数据
测试任务，测试集合和测试事件的描述
缺陷分析:
- 由于计划的问题，导致没有发现的缺陷的数据
- 严重的缺陷
- 缺陷类型
- 为什么缺陷没有发现
效果
测试报告
- 报告目前的软件状态
- 功能/测试矩阵
- 功能测试的状态报告，侧重点分析
- 关于功能的工作时间轴
- 期望发现 VS 实际发现的缺陷比
- 没有发现的缺陷和改正的缺陷的差距
- 按照类型分类，没有改正的缺陷的平均值
- 缺陷分类报告
- 测试活动报告
报告汇总
- 各个阶段的项目测试总结报告
- 继承性测试报告
- 系统测试报告
- 确认测试报告