写了一个spark streamming 程序
总是只运行一轮就停.
把逻辑简化到最简单: 把输入存到redis.
// 具体处理过程 messages.filter(DirectLog::_logTypeFilter) .foreachRDD((rdd)->{ rdd.foreachPartition((partitionOfRecords)->{ RedisUtil lru = LoggingRedisUtil.getInstance(); partitionOfRecords.forEachRemaining((t2)->{ String log = t2._2(); lru.rpush(TimeHelper.sysStartTime, log); }); }); });
还是不行.
也没有报错, redis 里的数据也不增加.
================ 华丽的分割线 ===========
加上了句
sparkConf.set("spark.rpc.netty.dispatcher.numThreads","2");
问题解决了