蓄水池抽样

蓄水池抽样/水塘抽样算法

给定一个数据流，数据流长度N很大，且N直到处理完所有数据之前都不可知，请问如何在只遍历一遍数据（O(N)）的情况下，能够随机选取出m个不重复的数据。**

这个场景强调了3件事：

1. 数据流长度N很大且不可知，所以不能一次性存入内存。

2. 时间复杂度为O(N)。

3. 随机选取m个数，每个数被选中的概率为m/N。

蓄水池抽样算法框架

//n个样本中抽出m个样本，保证被抽到的概率一样
//蓄水池
int[] reservoir = new int[m];
//初始化蓄水池
for (int i = 0; i < reservoir.length; i++){
    reservoir[i] = dataStream[i];
}
for (int i = m; i < dataStream.length; i++){
    // 随机获得一个[0, i+1)内的随机整数
    int d = rand.nextInt(i+1);
    // 如果随机整数落在[0, m)范围内，则替换蓄水池中的元素
    if (d < m){
        reservoir[d] = dataStream[i];
    }
}