第一次作业----词频统计

一 实现主要功能：

   统计一篇英文文章的单词出现的频数并输出到文件。

二 处理流程：

 1. 读入要分析的文件,从给定文件中获取单词信息,并存储到字串中。

 2. 对字串进行预处理，包括标点符号的处理，多空格的处理。

 3. 对处理后的字串进行分割，遍历，统计词频。

 4. 将词频统计结果写入到指定的文件中。

三 代码实现（JAVA语言实现）

   

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.HashMap;
import java.util.Map;
import java.util.Map.Entry;

public class WordStatistics {

    public void getWordRate(String sourceFileName) {

        try {
            // 从给定文件中获取单词信息,并存储到字串中
            String allWords = getFileWords(sourceFileName);
        
            // 将字符串转换成小写
            allWords = allWords.toLowerCase();
            allWords = allWords.replaceAll("[^A-Za-z]", " ");
            allWords = allWords.substring(4);
            allWords = allWords.replaceAll("\s+", " ");

            // 将字串进行分割，存储到字符串数组
            String[] singleWord = allWords.split("\s+");

            // 进行词频统计，将统计结果放到Map里，key为单词，value为单词出现的次数
            Map<String, Integer> wordsMap = new HashMap<String, Integer>();
            for (int i = 0; i < singleWord.length; i++) {
                String key = singleWord[i];
                if (wordsMap.get(key) != null) {
                    // 如果该单词已经存在map中，则对应的单词次数加1
                    int value = ((Integer) wordsMap.get(key)).intValue();
                    value++;
                    wordsMap.put(key, new Integer(value));
                } else {
                    // 如果单词不在map中，则将该单词放入，初始化词频次数为1
                    wordsMap.put(key, new Integer(1));
                }
            }

            // 将词频统计结果写入到指定的result.txt中
            BufferedWriter bw = new BufferedWriter(new FileWriter(new File(
                    System.getProperty("user.dir") + "//result.txt")));
            for (String key : wordsMap.keySet()) {
                bw.append((key + " : " + wordsMap.get(key)));
                // 追加换行
                bw.newLine();
            }
            bw.close();

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private String getFileWords(String sourceFileName) {
        // 从给定文件中获取单词信息,并存储到字串中
        String allWords = null;
        try {
            BufferedReader br = new BufferedReader(new FileReader(new File(
                    System.getProperty("user.dir") + "//" + sourceFileName)));
            
            String tmp = null;
            while ((tmp = br.readLine()) != null) {
                // 读出每一行，并加入到allWords
                allWords += tmp;
            }
            br.close();
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
        return allWords;

    }

    public static void main(String[] args) {

        WordStatistics ws = new WordStatistics();
        ws.getWordRate("word.txt");
    }

}

四 执行效果

   1. 输入：要统计的文件word.txt，如下：

    

   2. 输出：保存到result.txt，result.txt内容如下：