词频
写一个 bash 脚本以统计一个文本文件 words.txt 中每个单词出现的频率。
为了简单起见，你可以假设：
words.txt只包括小写字母和' '。- 每个单词只由小写字母组成。
- 单词间由一个或多个空格字符分隔。
示例:
假设 words.txt 内容如下：
the day is sunny the the
the sunny is is
你的脚本应当输出（以词频降序排列）：
the 4
is 3
sunny 2
day 1
说明:
- 不要担心词频相同的单词的排序问题，每个单词出现的频率都是唯一的。
- 你可以使用一行 Unix pipes 实现吗？
解析：
1、sort语法复习
sort -n 将字符串转数字
sort -r 指定顺序为从大到小
sort -k 2 指定第二个字段作为排序判断标准
tr -s ' ' '\n' 是将所有连续的空格 空行删除并保证每一行只有一个字符串
sort | uniq -c 通常一起用来统计重复出现的次数。
cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -rn | awk '{print $2, $1}'
2、 awk 是逐行检索文本。分为3的部分。
BEGIN{#这里进行一些检索文本前的初始化操作}
{#这里是对应每一行的操作}。
例如这里 for(i=1;i<=NF;++i){++m[$i]}就是将每一行分隔的字段，进行词频统计。
NF是分隔的字段数。
$0表示整行字符串
$1到$NF表示从分隔的第一个字符串到最后一个字符串
awk中的数组可以用作hashtable做来词频统计。
END{#在检索文本后的操作}
for(k in m) k表示的就是m的key。
awk -F' ' '{for(i=1;i<=NF;i=i+1){print $i}}' words.txt|sort|uniq -c|sort -nr|awk -F ' ' '{printf("%s %s\n", $2, $1)}'
相关阅读
车流量统计 头文件#ifndef MY_BLOB #define MY_BLOB #include<opencv2/core/core.hpp> #include<opencv2/highgui/highgui.hpp>
pandas统计学-相关性系数（pearson、spearman、kendall，p
pandas统计学-相关性系数（pearson、spearman、kendall，pointbiserialr） 相关性检验函数 series.corr(other[, method, min_perio
Excel统计函数COUNTIF()的常规用法介绍COUNTIF函数常规用法一基本简介作用 用来计算区域中满足给定条件的单元格的个数。语法讲
2018年Android版本分布（市场占有率、市场份额）统计
2018年8月7日，Google发布了Android 9.0 Pie，那目前的Android版本分布是个什么样子的呢？根据过去 7 天访问了 Google Play 商店的所有
统计图的目标是希望让目标阅读的用户能更快地从各类繁复的信息中，直接获取重要的有价值的信息。在不同的使用场景，会用到不同的统计