系统测试概述

系统测试的定义

• 将已经集成好的软件系统，作为整个计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其它系统元素结合在一起，在实际运行（使用）环境下， - 对计算机系统进行一系列测试活动。
  根本任务
• 证明被测系统的功能和结构的稳定性；还要有一些非功能测试：性能测试、压力测试、可靠性测试等等。
  目的
• 确保软件产品能够被用户或操作者接受。
  系统测试属于黑盒测试范畴，不再对软件的源代码进行分析和测试。
  系统测试的组织
• 系统测试主要是由质量部门的测试工程师来主导工作。
• 测试组组长：组织测试；
• 测试分析员：负责设计和实现测试脚本和测试用例；
• 测试者：负责执行测试脚本中记录的测试用例。

• 系统测试员和用户
• 相似的地方
• 都是使用软件，一般不接触软件的代码
• 都是假设软件应该正确实现说明书的功能

• 不同的地方
• 使用软件的目的
• 对待错误
  系统测试的内容

• 功能特性的测试：功能测试、用户界面测试、安装/卸载测试、可使用性测试。
• 非功能特性的测试：性能测试、负载测试、压力测试、疲劳测试、安全测试、恢复测试、兼容性测试、可靠* 性测试、强度测试、容量测试、配置测试。

功能测试

功能测试（Functional Test）是在规定的一段时间内运行软件系统的所有功能，以验证这个软件系统有无严重错误。

目标

• 检验产品功能是否正确实现

内容

• 正常功能、异常功能、边界测试、界面测试、接口测试、安全测试、错误处理测试等。

依据

• 需求规格说明书

方法

• 黑盒测试

性能测试

性能测试（Performance Testing）通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试。

目标

• 对产品的性能进行测试，检验是否达标、是否能够保持。
  工具
• 在需要大访问量时候尤其需要使用工具。
• 并发性能测试工具 （load—负载）
• LoadRunner、 QALoad、 SilkPerformer、 WebLoad

• 用户视角的软件性能
• 从用户角度来说，软件性能就是软件对用户操作的响应时间。

• 系统管理员视角的软件性能
• 系统的响应时间；
• 系统运行时服务器的状态，如CPU利用情况、内存使用情况等；
• 系统是否能够实现扩展；
• 系统支持多少用户访问；
• 系统性能可能的瓶颈在哪里；
• 系统是否支持7*24小时的业务访问。

• 软件性能指标
• 并发用户
• 一给定时间内，某个时刻与服务器同时进行会话操作的用户数。

• 响应时间
• 客户端发出请求到得到服务器返回结果的整个过程所经历的时间。

• 吞吐量
• 单位时间内系统处理的客户请求的数量
• 一般来说，吞吐量用请求数/秒或页面数/秒来衡量。
• 从业务的角度，吞吐量也可以用访问人数/天或处理的业务数/小时等单位来衡量。
• 从网络的角度来说，也可以用字节数/天等单位来考察网络流量。

• 资源利用率
• 指系统资源的使用程度，比如服务器的CPU利用率、内存利用率、磁盘利用率、网络带宽利用率等。

• 软件性能要素
• 环境要素
• 软件、硬件、网络

• 业务要素
• 用户数、执行功能、数据量
• 在使用性能指标描述软件的性能特征时，应该给出明确的软件性能要素，否则，所给出的性能指标无法参考。
• 性能测试用例的设计：主要是通过改变模拟的业务因素来测试软件的性能。
• 并发用户数
• 精算法

• 估算法

• 经验值
• 对于一些系统，可以通过同类软件系统的用户数据来估算，这种估算可以通过类似系统的日志分析和问卷调查来进行。
  吞吐量
  基于业务的设计

负载测试

定义
数据在超负荷环境下运行，测试软件系统是否能够承担。这种超负荷主要指多并发用户。
方法

• 人为生成大数据量，并利用工具模拟频繁并发访问
  工具
• 一般需要使用自动化工具
  考察指标
• 响应时间、交易容量、资源使用率等

压力测试

定义

• 指系统不断施加越来越大的负载（并发，循环操作，多用户，网络流量）的测试。
  目标
• 通过确定一个系统的瓶颈或者不能接收的性能点，来确定系统能提供的最大服务级别的测试。

性能测试、压力测试、负载测试的关系

性能测试是正常情况下的性能指标；
压力测试是测试系统的瓶颈所在；
负载测试是指系统重负荷性能指标;
性能测试、压力测试、负载测试在广义上讲都是性能测试的内容，建议将三种测试结合起来并行进行。

兼容性测试

定义

• 测试软件在一个特定的硬件、软件、操作系统、网络等环境下系统能否正常运行。
  目的
• 检验被测软件对其他应用软件或者其他系统的兼容性。

安全测试

定义

• 安全测试检测系统对非法入侵的防范能力。
  应用程序级别的安全性测试
  数据库安全性测试
  系统级别的安全性测试

健壮性测试

定义

• 又称为容错测试。主要检查系统容错能力。当系统出错时，能否在指定的时间间隔内修正错误并重启系统。
  方法
• 容错测试首先要通过各种手段让软件系统强制发生故障，然后验证系统能否快速恢复。

配置测试

定义

• 配置测试将验证软件与其所依赖硬件环境的依赖程度。
  测试中的硬件环境指进行测试所必需的服务器、客户端、网络连接设备，以及打印机、扫描仪等辅助硬件设备所构成的环境。
  所有软件都需向用户说明其运行的硬件环境，对于多层结构的软件系统来说，需要分别说明其服务器、客户端以及网络所需的环境。

可用性测试

可用性测试是面向用户的系统测试。让一群有代表性的用户尝试对产品进行典型操作，- - 同时观察员和开发人员在一旁观察，聆听，做记录。

系统中是否存在繁琐的功能以及指令；
安装过程是否复杂；
错误信息提示内容是否详细；
GUI接口是否标准；
登录是否方便；
需要用户记住内容的多少；
帮助文本是否详细；

文档测试

定义

• 文档测试是对系统提交给文档进行验证，它要求检查系统的文档是否齐全。
  文档的种类
• 包括联机帮助文档或用户手册，指南和向导，
• 安装、设置指南，示例及模板，错误提示信息，
• 用于演示的图像和声音，
• 授权/注册登记表及用户许可协议，
• 软件的包装、广告宣传材料等。