这是《高性能 MySQL（第三版）》第二章的读书笔记。
基准测试（benchmark）是针对系统的压力测试，用于掌握系统行为或重新系统的某个状态。sysbench 是常用的 MySQL 基准测试工具。
1. 为何需要基准测试
通过基准测试，可以方便有效的学习到系统在给定的工作负载下会发生什么。
- 重现并解决异常
- 验证假设
- 测试系统当前运行情况，以确认优化的效果
- 模拟更高的负载，以找出系统可能的扩展瓶颈
- 测试应用适应可变环境的能力。如系统在随机的并发峰值下的表现
- 测试不同硬件、软件和操作系统
2. 基准测试的策略
两个策略：
- 针对整个系统的整体测试（集成式 full-stack）
- 单独测试 MySQL（单组件式 single-component）。
2.1 基准测试的指标
指标决定了测试工具和技术。
吞吐量
吞吐量指的是单位时间内的事务处理数。主要测试在线事务（OLTP）的吞吐量。测试单位是每秒事务数或每分钟事务数。
响应时间或延迟
测试任务所需的整体时间。测试的时间单位可以是微秒、毫秒、秒、分钟。可以求出平均响应时间、最大响应时间、最小响应时间及各自的比例。
并发性
并发性测试通常是测试应用在不同并发下的性能。可以通过 sysbench 指定 32、64、128 个线程的测试，然后在测试期间记录 MySQL 数据库的 Threads_running 状态值。
Web 服务器的高并发一般也会导致数据库的高并发。一个设计良好的应用，可以同时打开成百上千个 MySQL 数据库服务器连接，但任一时刻都只有少数连接在执行查询。
并发性测试基准关注的是正在工作中的并发操作，或同时工作的线程数或连接数。并发增大时，需要测试吞吐量是否下降，响应时间是否变长。
可扩展性
系统资源翻倍（CPU、内存等）时，数据库吞吐量翻倍，且性能仍可接受。大多数系统无法线性扩展。
3 基准测试方法
设计和执行基准测试时的常见错误：
- 使用真实数据的子集而不是全集
- 使用错误的数据分布
- 在多用户场景中只做单用户测试
- 在单服务器上测试分布式应用
- 与真实用户行为不匹配
- 反复执行同一个查询。这会跟真实情况下缓存命中率有较大差异。
- 没有检查错误。MySQL 检测到语法错误后会停止查询，需要定期查看错误日志。
- 忽略了系统预热。重启后缓存为空，查询较慢。
- 使用了默认的服务器配置
- 测试时间太短
3.1 设计和规划测试基准
第一步，提出问题并明确目标。再决定采用标准的基准测试还是设计专用测试。
然后，针对数据运行查询。可以建立单元测试集，但最好在一个典型时间段内（一整天或高峰时的一小时）记录生产系统上的所有查询。
可以在不同级别记录查询。对于集成式（full-stack）基准测试，可以记录 Web 服务器上的 HTTP 请求，也可以打开 MySQL 的查询日志。
写详细的测试规划。测试规划应该记录测试数据、系统配置的步骤、如何测量和分析结果、预热方案等。
建立将参数和结果文档化的规范。每一轮测试都详细记录。
3.2 获取系统性能和状态
执行基准测试时，需要尽可能的收集被测系统的信息，包括系统状态和性能指标，例如 CPU 使用率、磁盘 I/O、网络流量统计、SHOW GLOBAL STATUS 计数器等。可以使用 shell 脚本收集这些数据。
3.3 运行基准测试并收集结果
自动化测试可以获得更精确的结果，避免测试人员误操作或出现失误。可以用 shell、PHP 等脚本语言实现自动化测试的所有过程，包括装载数据、系统预热、执行测试、记录结果等。
4 基准测试工具
4.1 集成式测试工具
要获得整个应用的概况，就用集成式测试。
ab
ab 是一个 Apache HTTP 服务器基准测试工具。可以测试 HTTP 服务器每秒最多处理多少请求。简单易用，但是只能针对单个 URL 进行压力测试。
http_load
类似 ab，也是对 Web 服务器进行测试。可以通过一个文件提供多个 URL 随机测试。也可以定制 http_load 使其按照时间比例测试。
JMeter
可以通过控制预热时间等参数，灵活模拟用户的访问。
4.2 单组件式测试工具
mysqlslap
MySQL 发行包中集成，可以模拟服务器的负载，并输出计时信息。
MySQL Benchmark Suite（sql-bench）
也是在 MySQL 发行包中集成了。可以在不同数据库服务器上进行比较测试。测试套件包含了大量预定义的测试，易用。缺点是：单用户模式，测试数据集小且用户无法指定自己的数据集。单线程运行，无法测试多 CPU 的服务器。
Super Smark
可以提供压力测试和负载生成。复杂而强大，可以模拟多用户访问，可以加载测试数据到数据库，支持使用随机数据填充测试表。
Database Test Suite
是类似工业标准测试的测试工具集，例如事务处理性能委员会（TPC，Transaction Processing Performance Council）制定的各种标准。
sysbench
sysbench（https://launchpad.net/sysbench ）是多线程系统压测工具。可以根据影响数据库服务器性能的各种因素来评估系统的性能。可以测试文件 I/O、操作系统调度器、内存分配和传输速度、POSIX 线程及数据库服务器。支持 Lua 脚本，支持对数据库、操作系统、硬件的测试。