英文原版 https://www.cs.virginia.edu/stream/ref.html
FAQ中有关于STREAM_ARRAY_SIZE NTIME OFFSET STREAM_TYPE的设置说明
在stream.c的源码中也有。
最近由于工作需要，接触到Stream benchmark。Stream benchmark是一个测试内存带宽的基准测试程序。官方提供C和fortran两个版本，鉴于如今C语言使用的广泛形，本文仅从C语言版本的测试进行分析。关于Stream benchmark 的相关文档请查看https://www.cs.virginia.edu/stream/ 。
1. 下载。要运行Stream benchmark， 首先需要下载。下载基准测试程序请移步https://www.cs.virginia.edu/stream/FTP/Code/。如果是使用C，你只需要下载一个文件stream.c。
2. 编译。如果是C程序源码，你可以使用gcc或g++进行编译。编译使用
gcc -O stream.c -o stream_exe
你也可以加入openmp编译选项进行多核访存带宽的测试，加入openmp选项的编译使用
gcc -O -fopenmp stream.c -o stream_omp_exe
本程序有三个重要参数需要设置，他们是STREAM_ARRAY_SIZE，NTIMES以及OFFSET。关于这三个参数的含义和设置规则我将在下文详细介绍。设置这三个参数的方法有两种，一是直接在源文件中修改，二是在编译选项中加入编译规则，即使用-D 选项定义。如要定义STREAM_ARRAY_SIZE为100M，NTIMES为12以及OFFSET为2，则使用以下编译方法
gcc -O -fopenmp -DSTREAM_ARRAY_SIZE=100000000 -DNTIME=12 -DOFFSET=1022 stream.c -o stream_omp_exe
如果设置的STREAM_ARRAY_SIZE太大（大于2G），你可以增加编译选项-mcmodel=medium，如果继续增大这个size，可以进一步使用-mcmodel=large。除此之外，你还可以定义STREAM_TYPE，默认是double，基本不许要修改。
3. 运行及结果分析。直接使用./stream_omp_exe即可运行，如果多线程并未启动，可在运行前手动设置运行的进程数，如export OMP_NUM_THREADS=20。以下是某Power机器上的运行结果
-------------------------------------------------------------
STREAM version $Revision: 5.10 $
-------------------------------------------------------------
This system uses 8 bytes per array element.
-------------------------------------------------------------
Array size = 100000000 (elements), Offset = 0 (elements)
Memory per array = 762.9 MiB (= 0.7 GiB).
Total memory required = 2288.8 MiB (= 2.2 GiB).
Each kernel will be executed 10 times.
The *best* time for each kernel (excluding the first iteration)
will be used to compute the reported bandwidth.
-------------------------------------------------------------
Number of Threads requested = 20
Number of Threads counted = 20
-------------------------------------------------------------
Your clock granularity/precision appears to be 1 microseconds.
Each test below will take on the order of 13857 microseconds.
(= 13857 clock ticks)
Increase the size of the arrays if this shows that
you are not getting at least 20 clock ticks per test.
-------------------------------------------------------------
WARNING -- The above is only a rough guideline.
For best results, please be sure you know the
precision of your system timer.
-------------------------------------------------------------
Function Best Rate MB/s Avg time Min time Max time
Copy: 134965.4 0.012672 0.011855 0.013730
Scale: 132362.0 0.013659 0.012088 0.017100
Add: 141218.4 0.018251 0.016995 0.019597
Triad: 136666.8 0.018566 0.017561 0.019594
-------------------------------------------------------------
Solution Validates: avg error less than 1.000000e-13 on all three arrays
-------------------------------------------------------------
上述结果已经很清晰显示各种信息了，在这里不赘述。下面着重讲一下4个操作Copy，Scale，Add和Triad。
Copy为最简单的操作，即从一个内存单元中读取一个数，并复制到另一个内存单元，有2次访存操作。
Scale是乘法操作，从一个内存单元中读取一个数，与常数scale相乘，得到的结果写入另一个内存单元，有2次访存。
Add是加法操作，从两个内存单元中分别读取两个数，将其进行加法操作，得到的结果写入另一个内存单元中，有2次读和1次写共3次访存。
Triad是前面三种的结合，先从内存中读取一个数，与scale相乘得到一个乘积，然后从另一个内存单元中读取一个数与之前的乘积相加，得到的结果再写入内存。所以，有2次读和1次写共3次访存操作。
从上述的结果我们可以看出，测试的内存带宽Add>Triad>Copy>Scale。这是因为访存次数越多，内隐藏的访存延迟越大，得到的带宽越大。同理，运算的操作越复杂，操作时间就越长，程序运行时间就越长，得到的访存带宽就相应减少。这就是为什么3次访存的操作得到的带宽比2次访存操作得到的要大，而相同访存次数的操作，加法要比乘法得到的结果要好。
4. 参数含义及设置规则。
1）STREAM_ARRAY_SIZE。这个是测试数据集的大小，该大小应该遵循以下两条规则。
A. 数据集大小应不小于L3 cache大小的4倍。举例来说某10核Power机器中L3 cache为8MB/core，共80MB L3 cache，因此数据集的大小至少为80MB*4=320MB。由于数据集中每个元素大小为64bits，即8B。故，数据集大小应设置为不小与320MB/8B=40M （40million或40000000）。
B. 数据集大小应能确保程序输出时间大于20个时钟周期。该时钟周期可在程序输出信息中看到，如“Your clock granularity/precision appears to be 1 microseconds.“ 表示时钟周期为1微秒，20个时钟周期为20微秒。如果你的测试机器有200GB/s的带宽，那你的数据集大小应不小于4MB，即0.5million个元素。
2） NTIME。该参数为kernel执行的次数，程序将输出除第一次外其他结果中最好的结果，所以NTIME必须要大于1。该值默认为10，通常不许要修改。
3）OFFSET。该值为数组的偏移量，修改此值可改变数组的对齐，从而在一定程度上改变输出的性能结果。一定程度在这指的是也许会改变，也许不会改变。本人在Power上的测试是没有很大的改变。如果需要修改该参数，通常将其设置为靠近2^n的数，例如使用-DOFFSET=1022 （靠近2^10=1024）。
4） STREAM_TYPE。我们可以通过修改该参数设置测试集的数据类型，默认是double(8B)。如果将其改为float则数据集大小减少一半。
Stream benchmark已经推出stream2.0版本，相关资料及源码下载请参考https://www.cs.virginia.edu/stream/stream2/。最后感谢John和McCalpin提供这么简单粗暴方便有效的测试方式。
你也可以加入openmp编译选项进行多核访存带宽的测试，加入openmp选项的编译使用
gcc -O -fopenmp stream.c -o stream_omp_exe
本程序有三个重要参数需要设置，他们是STREAM_ARRAY_SIZE，NTIMES以及OFFSET。关于这三个参数的含义和设置规则我将在下文详细介绍。设置这三个参数的方法有两种，一是直接在源文件中修改，二是在编译选项中加入编译规则，即使用-D 选项定义。如要定义STREAM_ARRAY_SIZE为100M，NTIMES为12以及OFFSET为2，则使用以下编译方法
gcc -O -fopenmp -DSTREAM_ARRAY_SIZE=100000000 -DNTIME=12 -DOFFSET=1022 stream.c -o stream_omp_exe
如果设置的STREAM_ARRAY_SIZE太大（大于2G），你可以增加编译选项-mcmodel=medium，如果继续增大这个size，可以进一步使用-mcmodel=large。除此之外，你还可以定义STREAM_TYPE，默认是double，基本不许要修改。
3. 运行及结果分析。直接使用./stream_omp_exe即可运行，如果多线程并未启动，可在运行前手动设置运行的进程数，如export OMP_NUM_THREADS=20。以下是某Power机器上的运行结果
-------------------------------------------------------------
STREAM version $Revision: 5.10 $
-------------------------------------------------------------
This system uses 8 bytes per array element.
-------------------------------------------------------------
Array size = 100000000 (elements), Offset = 0 (elements)
Memory per array = 762.9 MiB (= 0.7 GiB).
Total memory required = 2288.8 MiB (= 2.2 GiB).
Each kernel will be executed 10 times.
The *best* time for each kernel (excluding the first iteration)
will be used to compute the reported bandwidth.
-------------------------------------------------------------
Number of Threads requested = 20
Number of Threads counted = 20
-------------------------------------------------------------
Your clock granularity/precision appears to be 1 microseconds.
Each test below will take on the order of 13857 microseconds.
(= 13857 clock ticks)
Increase the size of the arrays if this shows that
you are not getting at least 20 clock ticks per test.
-------------------------------------------------------------
WARNING -- The above is only a rough guideline.
For best results, please be sure you know the
precision of your system timer.
-------------------------------------------------------------
Function Best Rate MB/s Avg time Min time Max time
Copy: 134965.4 0.012672 0.011855 0.013730
Scale: 132362.0 0.013659 0.012088 0.017100
Add: 141218.4 0.018251 0.016995 0.019597
Triad: 136666.8 0.018566 0.017561 0.019594
-------------------------------------------------------------
Solution Validates: avg error less than 1.000000e-13 on all three arrays
-------------------------------------------------------------
上述结果已经很清晰显示各种信息了，在这里不赘述。下面着重讲一下4个操作Copy，Scale，Add和Triad。
Copy为最简单的操作，即从一个内存单元中读取一个数，并复制到另一个内存单元，有2次访存操作。
Scale是乘法操作，从一个内存单元中读取一个数，与常数scale相乘，得到的结果写入另一个内存单元，有2次访存。
Add是加法操作，从两个内存单元中分别读取两个数，将其进行加法操作，得到的结果写入另一个内存单元中，有2次读和1次写共3次访存。
Triad是前面三种的结合，先从内存中读取一个数，与scale相乘得到一个乘积，然后从另一个内存单元中读取一个数与之前的乘积相加，得到的结果再写入内存。所以，有2次读和1次写共3次访存操作。
从上述的结果我们可以看出，测试的内存带宽Add>Triad>Copy>Scale。这是因为访存次数越多，内隐藏的访存延迟越大，得到的带宽越大。同理，运算的操作越复杂，操作时间就越长，程序运行时间就越长，得到的访存带宽就相应减少。这就是为什么3次访存的操作得到的带宽比2次访存操作得到的要大，而相同访存次数的操作，加法要比乘法得到的结果要好。
4. 参数含义及设置规则。
1）STREAM_ARRAY_SIZE。这个是测试数据集的大小，该大小应该遵循以下两条规则。
A. 数据集大小应不小于L3 cache大小的4倍。举例来说某10核Power机器中L3 cache为8MB/core，共80MB L3 cache，因此数据集的大小至少为80MB*4=320MB。由于数据集中每个元素大小为64bits，即8B。故，数据集大小应设置为不小与320MB/8B=40M （40million或40000000）。
B. 数据集大小应能确保程序输出时间大于20个时钟周期。该时钟周期可在程序输出信息中看到，如“Your clock granularity/precision appears to be 1 microseconds.“ 表示时钟周期为1微秒，20个时钟周期为20微秒。如果你的测试机器有200GB/s的带宽，那你的数据集大小应不小于4MB，即0.5million个元素。
2） NTIME。该参数为kernel执行的次数，程序将输出除第一次外其他结果中最好的结果，所以NTIME必须要大于1。该值默认为10，通常不许要修改。
3）OFFSET。该值为数组的偏移量，修改此值可改变数组的对齐，从而在一定程度上改变输出的性能结果。一定程度在这指的是也许会改变，也许不会改变。本人在Power上的测试是没有很大的改变。如果需要修改该参数，通常将其设置为靠近2^n的数，例如使用-DOFFSET=1022 （靠近2^10=1024）。
4） STREAM_TYPE。我们可以通过修改该参数设置测试集的数据类型，默认是double(8B)。如果将其改为float则数据集大小减少一半。
Stream benchmark已经推出stream2.0版本，相关资料及源码下载请参考https://www.cs.virginia.edu/stream/stream2/。最后感谢John和McCalpin提供这么简单粗暴方便有效的测试方式。