c++实现之 -- 文章TF-IDF值的计算

首先，是关键词的选取：

好吧这个我这模型实在是太简单了，但还是讲一讲比较好呢。。。

我们现在手头有的是一堆百度百科词条w的DF(w, c)值，c是整个百科词条。。。原因是。。。方便嘛~（而且人家现成的只有介个了啦~）

我们发现有830W+的词条数目，都存下来显然是不理智、不科学、不魔法的。所以选取一部分作为关键词。

如何选取关键词呢？我选择了DF值在[100, 5000]之间的词。虽然也很不理智、不科学、不魔法，但是比直接存下来理智、科学、魔法多了，恩！

于是就全读进来，然后找到需要的词语，顺便计算下IDF值什么的输出到新的文件里去。

 

#include <cstdio>
#include <iostream>
#include <iomanip>
#include <cmath>
#include <string>
#include <algorithm>

using namespace std;
typedef double lf;
const int cnt_id = 9000005;
const lf tot_file = 4500000;
const lf eps = 1e-8;

struct data {
    int id;
    lf IDF;
    string st;
    
    data() {}
    data(int _id, lf _IDF, string _st) : id(_id), IDF(_IDF), st(_st) {}
    
    inline bool operator < (const data &a) const {
        return IDF > a.IDF;
    }
} a[cnt_id];
inline bool cmp_id(data a, data b) {
    return a.id < b.id;
}


string st;
int id, cnt;
int St, Ed;
lf NUM_max, NUM_min;

inline lf calc(int x) {
    return (lf) log((lf) tot_file / (x + eps));
}

int main() {
    int i, DF;
    freopen("data", "r", stdin);
    freopen("data_new", "w", stdout);
    ios::sync_with_stdio(true);
    while (cin >> id >> st >> DF)
        a[++cnt] = data(id, (lf) calc(DF), st);
    sort(a + 1, a + cnt + 1);
    
    NUM_max = calc(100), NUM_min = calc(5000);
    for (i = 1; i <= cnt; ++i)
        if (a[i].IDF < NUM_max) break;
    St = i;
    for ( ; i <= cnt; ++i)
        if (a[i].IDF < NUM_min) break;
    Ed = i;
    
    sort(a + St, a + Ed, cmp_id);
    cout << Ed - St << endl;
    for (i = St; i < Ed; ++i)
        cout << a[i].id << ' ' << a[i].st << ' ' << setprecision(10) << a[i].IDF << endl;
    return 0;
}

 这样子我们就选出来了339,896个数作为关键词，占全部词条的4.1%，数量的减少，可以大幅之后的程序提高效率。

（p.s. 这里使用了一个小技巧，就是setprecision(x)，表示在cout里，小数输出多少位关键字）

好了，关键词选选取完毕，接下来就是读入文章（已分词），并且计算出TF-IDF值啦！

我们可以边读边做，顺便达到节省空间且提高效率的目的。（data和passage两个map可以只剩下一个）

具体实现甚是蛋疼，各种搞不定。最后搞定了也不知道是怎么搞定的。。。反正现在是没什么问题，以后有没有就布吉岛了

#include <cstdio>
#include <iostream>
#include <cmath>
#include <string>
#include <cstring>
#include <algorithm>
#include <map>

using namespace std;
typedef double lf;
const int mod1 = 19997;
const int mod2 = 30001;
const int bin = 1 << 9;

struct TF_IDF {
    int TF;
    lf IDF, TF_IDF;
};

struct Word {
    string st;
    int h1, h2;

    inline bool operator < (const Word &x) const {
        return h1 == x.h1 ? h2 < x.h2 : h1 < x.h1;
    }
    inline bool operator == (const Word &x) const {
        return h1 == x.h1 && h2 == x.h2;
    }

    #define x (int) st[i]
    #define Weight 3001
    inline void calc_hash() {
        int len = st.length(), tmp, i;
        for (i = tmp = 0; i < len; ++i)
            ((tmp *= Weight) += (x < 0 ? x + bin : x)) %= mod1;
        h1 = tmp;
        for (i = tmp = 0; i < len; ++i)
            ((tmp *= Weight) += (x < 0 ? x + bin : x)) %= mod2;
        h2 = tmp;
    }
    #undef x
    #undef Weight
} w;

typedef map <Word, TF_IDF> map_for_words;
typedef map_for_words :: iterator iter_for_words;

map_for_words passage;

void read_in_passage() {
    Word w;
    freopen("E:\test\test.in", "r", stdin);
    while (cin >> w.st) {
        w.calc_hash();
        passage[w].TF += 1;
    }
    fclose(stdin);
}

void read_in_IDF_and_work() {
    int id, tot = 1, i;
    lf IDF;
    string st;
    Word w;
    iter_for_words it;
    freopen("E:\test\new.dat", "r", stdin);
    ios::sync_with_stdio(false);
    cin >> tot;
    for (i = 1; i <= tot; ++i) {
        cin >> id >> w.st >> IDF;
        w.calc_hash();
        it = passage.find(w);
        if (it != passage.end()) {
            it -> second.IDF = IDF;
            it -> second.TF_IDF = (lf) it -> second.TF * it -> second.IDF;
        }
    }
    fclose(stdin);
}

void print() {
    iter_for_words it;
    cout << passage.size() << endl;
    for (it = passage.begin(); it != passage.end(); ++it)
        cout << it -> first.st << ' ' << it -> second.TF << ' ' << it -> second.IDF << ' ' << it -> second.TF_IDF << endl;
}

int main() {
    freopen("E:\test\test.out", "w", stdout);
    read_in_passage();
    read_in_IDF_and_work();
    print();
    return 0;
}

特别被坑死的点：

第一次打开test.in不能加上"ios::sync_with_stdio(false);"，但是第二次必须加上"ios::sync_with_stdio(false);"

否则第二次是可以打开文件的，但是什么都读不到= =

谁能告诉我这是什么坑货？、、、跪求巨神解答。。。