• 【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词


    1. 统计的对象words.txt,每个单词占一行(从简考虑了~)

    zjd@ubuntu:~/test$ cat word.txt 
    used
    this
    count
    mysql
    count
    this
    used
    mysql
    linux
    this
    redis
    apple
    android
    redis
    apple
     

     2. 统计每个单词的频率

    方法1:

    zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}END{for(i in a) print i"="a[i]}'
    linux=1
    used=2
    apple=2
    mysql=2
    count=2
    android=1
    redis=2
    this=3
    

    方法2(与方法1没有本质区别~~,{}大括号也可以表示循环)

    zjd@ubuntu:~/test$ cat word.txt |awk '{for(i=0;i<NF;i++) a[$0]++}END{for(i in a) print i"="a[i]}'
    linux=1
    used=2
    apple=2
    mysql=2
    count=2
    android=1
    redis=2
    this=3
    

    3. 统计出现频率最多的三个单词

    方法1:

    zjd@ubuntu:~/test$ cat word.txt|awk '{a[$0]++}END{for(i in a) print i" "a[i]}'|sort -k2r|head -3
    this 3
    apple 2
    count 2
    

     方法2:

    zjd@ubuntu:~/test$ cat word.txt|sort |uniq -c|sort -k1r|head -3
          3 this
          2 used
          2 redis
    
    知识点:
    sort 排序 -r 倒序 -k1 对第一个字段排序 
    uniq 相同的单词放在一起 -c count 合并相同的单词,显示次数
    head -3 显示前三行
    
    博主原创,转载请标明出处!
    联系方式: 微信:corolla_zhaojd
    Email: zhaojiandongzju@gmail.com

  • 相关阅读:
    MySQL——索引
    MySQL——逻辑分层与存储引擎
    APP测试总结
    如何提高测试的质量
    测试用例的基础
    opencv图像处理常用操作一
    【bug】【Cannot find reference 'imread' in '__init__.py | __init__.py'】
    Numpy学习笔记
    工业互联网
    Python基本的数据清洗
  • 原文地址:https://www.cnblogs.com/oldtrafford/p/3723277.html
Copyright © 2020-2023  润新知