C++学习之IO流

本博文主要介绍IO流中fstream，iterator的简单应用。

问题描述：

a）：找一篇文章（The Bble Holy） ，将其所有的单词输入vector中，并统计其单词个数

b）：增加统计词频功能，用结构体实现（word ，count） ，将结构体存入vector中

c）：增加停用词功能。

　　1）：从网上找 英文停用词，并命名为 stop_list.txt；

　　2）：统计词频时，若遇到此类词直接略过。

d）：计算上述话费时间，具体有：

　　1）：读取文件时间；

　　2）：排序所用时间；

　　3）：打印所用时间。

代码如下：

#include <iostream>
#include <string>
#include <vector>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <algorithm>
#include <fstream>
#include <ctype.h>
#include <sys/time.h>
#include <stdexcept>
using namespace std ;

struct Word 
{
    string word_ ;
    int count_ ;
};
//readfile to vec
void ReadFile(ifstream &in, vector<Word> &vec, const vector<string>&stop );
//readstoplist to stop
void ReadStopList( ifstream& in , vector<string> &stop);
//judge s is a stopword or not
bool IsStopWord(const vector<string>&stop , const string s );
//treans s to lower one
void stringToLower(string&s);
//judge s include punct or not
void ErasePunct(string &s);
//judge vec include s or not & add word to vec 
void AddWordToDict(vector<Word> &vec ,const string s);
//sort word by frequency
void WordSort(vector<Word> &vec );
//print frequency of a word
void printFrequency( const vector<Word>&vec ) ;
//calculate runing_time
int64_t getTime();
int main(int argc, const char *argv[])
{
    // readfile -->store  to vec --->sort ---> calculate count ---> print
    if(argc < 2)
    {
        perror("Usage:exe srcfile");
        exit(EXIT_FAILURE);
    }
    vector<Word> vec ;
    
    vector<string> stopList ;
    
    ifstream infile(argv[1]);
    ifstream stopfile("stop_list.txt");
    if( ! stopfile )
        throw std::runtime_error("stop_list does not exist!");
    if( !infile )
        throw std::runtime_error("open file failure");
    
    int64_t starttime = getTime();
    ReadStopList(stopfile , stopList);
    ReadFile( infile, vec ,stopList );
    int64_t readtime = getTime();
    
    WordSort( vec );

    int64_t sorttime = getTime();
    printFrequency( vec ) ;
    
    int printtime = getTime();
    cout << vec.size() << endl ;
    cout << "the time of reading file :" << (readtime - starttime) << endl ;
    cout << "the time of  sorting: "  << (sorttime - readtime) << endl ;
    cout<<"the time of printing"<< (printtime - sorttime) << endl ;
    infile.close();
    return 0;
}

//dos2unix command : window-->unix  //将windows文档格式转化成unix文档格式
void ReadFile(ifstream &in, 
              vector<Word> &vec,
              const vector<string>&stop )
{
    vec.clear();
    string s ;
    while( in >> s)
    {
        ErasePunct(s); // judge s dose include punct or not
        stringToLower(s);
        if(! IsStopWord(stop ,s))
       {
           AddWordToDict(vec , s);
       }
    }
}

void ReadStopList( ifstream& in , vector<string> &stop)
{
    stop.clear();
    string s ;
    while( in >> s)
    {
       stop.push_back( s );
    }
}
void stringToLower(string &s)
{
    string::iterator it =s.begin();
    while(it != s.end())
    {
        if(isupper(*it))
            *it = tolower(*it);
        it++ ;
    }
}


bool IsStopWord(const vector<string>&stop , const string s )
{
    vector<string>::const_iterator it = stop.begin();
    while( it != stop.end()) 
    {
        if((*it) == s)
        {
            return true ;
        }
        it ++ ;
    }
    if(it == stop.end())
        return false ;
   //还可以用find函数 ,代码如下
   /*
        vector<string>::const_iterator it = 
        find(stop.begin(), stop.end(), s );
    return (it != stop.end());
        
        */
}

void ErasePunct(string &s)
{
    string::iterator it = s.begin();
    while(it != s.end())
    {
        if(ispunct(*it))
            it = s.erase(it);
        else
            ++it ;
    }
}

void AddWordToDict(vector<Word> &vec ,const string s) 
{
    vector<Word>::iterator it = vec.begin();////顺序查找
       while( it != vec.end())
    {
        if(it->word_ == s)
        {
            (it->count_) ++ ;
            break ;
        }
        ++ it ;
    }
    if(it == vec.end()) // 类似于链表操作
    {
        Word tmp ;
        tmp.word_ = s ;
        tmp.count_ = 1 ;
        vec.push_back(tmp);
    }
}

int tmp(const Word &w1 , const Word &w2)
{
    // a > b
    return (w1.count_ > w2.count_);
}
void WordSort(vector<Word> &vec )
{
    sort(vec.begin() , vec.end() ,tmp ); //库函数sort
}

void printFrequency( const vector<Word>&vec ) 
{
    for(vector<Word>::const_iterator it = vec.begin(); //注意此处的const
        it != vec.end();
        ++ it)
     printf("word :%s, frequency: %d
", it->word_.c_str(), it->count_);
int64_t getTime();
}


int64_t getTime()
{
    struct timeval tm ;
    memset(&tm , 0, sizeof(tm));
    if(-1== gettimeofday(&tm ,NULL))
        throw runtime_error("gettime failure");

    int64_t  t =  tm.tv_usec ;
    t += tm.tv_sec*1000*1000 ; 
    return t ;
}

本程序时间复杂度为O（n*n），后续文章我们将讨论时间复杂度更优的算法。