第 2 章 第 2 题 找" 重数/漏数 "问题 位向量实现

问题分析

　　输入：一个包含了4 300 000 000个32位整数的文件( 其中可能有重复出现的数字 )

　　输出：一个在这个文件中重复出现过了的数字

　　约束：无

解答思路

　　第一章中，我们学习了如何用位向量进行一个空间代价很小的排序。在第一章的一些习题中，位向量的每一位代表的数就是该位的位序：位为1时表示存在这个数，0则表示不存在。本题也可以建立一个类似的位向量。但，本题的位向量又有所不同：因为要体现出重复的数据，因此一个数至少要两个位才能表示。故在这个新的位向量中，a ( 位表示的数 )和b ( 位序的关系 )不是a = b而是a * 2 = b1以及a*2 + 1 = b2 ( b1表示a对应的第一个位的位序，b2表示a对应的第二个位的位序 )。而且，位序00表示这两个位序对应的数不存在，位序01表示出现过一次，10表示出现过两次或者两次以上，看清楚包括两次及以上！

　　建立好位向量后，就开始检索位向量，将所有“ 10 "位对应的数输出即可。

效率分析

　　空间：4 300 000 000 * 2 ( bit ) ，也就是1GB左右的样子。

　　时间：O( N ) ，N这里表示输入文件中数字的个数。

代码实现

#include <iostream>
#include <fstream>
#include <string>

using namespace std;

// 每个整数的位数
#define BITSPERWORD 32
// 每次位移量
#define SHIFT 5
// 取模掩码
#define MASK 0x1F
// 位向量的元素个数
#define N 8600000000 

// 模拟数组
int a[1 + N/BITSPERWORD];

/*
 * 函数功能：置位向量第i位为1
 * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
            " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
            " 1<<(i & MASK) " 表示一个除了要设置的那位其他位都是0的整数
*/
void set (int i) {
    a[i>>SHIFT] |= (1<<(i & MASK));
}

/*
 * 函数功能：置位向量第i位为0
 * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
            " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
            " 1<<(i & MASK) " 表示一个除了要清空的那位其他位都是0的整数
*/
void clr (int i) {
    a[i>>SHIFT] &= ~(1<<(i & MASK));
}

/*
 * 函数功能：获取位向量的第i位
 * 函数说明：" i>>SHIFT "等于" i/32 " 获取到位向量目标位对应的模拟数组元素的位置
            " i & MASK "等于" i%32 " 获取到位向量目标位在对应的模拟数组元素中的位置
            " 1<<(i & MASK) " 表示一个除了要获取的那位其他位都是0的整数
*/
int tst (int i) {
    return a[i>>SHIFT] & (1<<(i & MASK));
}


int main()
{
    /*
     * 清空位向量
    */
    for (int i=0; i < N; i++) {
        clr(i);
    }

    /*
     * 打开待处理文件
    */
    string filename;
    cout << "输入数据文件名( 当前目录下 )：";
    cin >> filename;
    
    fstream io;
    io.open(filename.c_str());
    if (!io) {
        cout << "打开文件失败" << endl;
    return 1;
    }

    /*
     * 将数据导入位向量
    */
    int num;

    while (io >> num) {
        if ((tst(2*num) == 0) && (tst(2*num + 1) == 0)) {
            set(2*num+1);
        }
        else if ((tst(2*num) == 0) && (tst(2*num + 1) != 0)) {
            clr (2*num);
            clr (2*num+1);
            set (2*num);
        }
    }

    /*
     * 输出结果
    */
    for (int i=0; i < 430000000; i++) {
        if ((tst(2*i)!=0) && (tst(2*i + 1)==0))
            cout << i << endl;
    }
            
    return 0;
} 

运行测试

　　遗憾的是，运行出错了：

　　分析了很久，程序中实在找不到问题，只得把这个问题拿去和朋友讨论。所幸某人点出了问题症结所在，令我茅塞顿开：C/C++中，数组在内存空间是连续存放的，而上述代码中的位向量数组要占用大约1GB的连续的空间，而我电脑内存本身才2G，系统分配不了这么大的连续空间给我。于是系统只得报错。另一人更犀利，他指出“ 题目不是只让你找一个重复的数吗？既然找一个就可以了，你何必用两个位来表示一个数呢？”。听到这个让我吐血。。。但，即便一位表示一数，也要用500多MB连续内存空间啊，很多机器都吃不消的。

　　为了解决这个问题，我必须想到一种内存消耗更小的算法，而不是去电脑城买内存条。