上篇hadoop配置文件目录为:/hadoop-version(2.6.4)/etc/hadoop,【之所以记录这个目录,是因为在这个集群之前,我配置过一些版本更早的集群(包括hadoop1),路径不太一样】。
hadoop启动是在sbin目录下start-all.sh(后改为start-dfs.sh start-yarn.sh)
启动后mini1下会有进程NameNode,SecondaryNameNode,ResourceManager
mini2 3 4 下会有进程DataNode,NodeManager
其中SecondaryNameNode的配置是在hdfs-site.xml 中配置dfs.secondary.http.address (172.16.227.3.50090)[https://blog.csdn.net/weixin_37838429/article/details/81674765]
hadoop集群启动后可以使用web页面检查集群 172.16.227.3:8088 (yarn) 172.16.227.3:50070(hdfs)
flume的安装比较简单,配置文件是在conf下。常见的配置比如netcat-logger.conf,
启动命令:bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
在另一个客户端启动 telnet localhost 44444[https://blog.csdn.net/zhou920786312/article/details/88630781]
也可以配置成sources是文件 sink是kafka