一、程序功能
监听指定目录下文件的变化过程,每10秒输出一次该文件中单词词频统计结果。
二、实现过程
定义一个DStream,创建一个文件流。首先将文件中的单词全部按空格拆分并汇总到一个RDD中,然后将RDD转化为(单词,1)的格式,使用reduceByKey()方法统计词频。以上步骤为DStream的处理流程,最后启动DStream,程序即可自动监听。
三、编程实现
一、程序功能
监听指定目录下文件的变化过程,每10秒输出一次该文件中单词词频统计结果。
二、实现过程
定义一个DStream,创建一个文件流。首先将文件中的单词全部按空格拆分并汇总到一个RDD中,然后将RDD转化为(单词,1)的格式,使用reduceByKey()方法统计词频。以上步骤为DStream的处理流程,最后启动DStream,程序即可自动监听。
三、编程实现