毕业两年，工作两年。计划将老集群配置安全认证kerberos。
下面将老集群的基本配置做一个记录。
老集群的安装配置主要有flume hive storm hbase hadoop kafka redis spark zookeeper.
其中标红的是重度使用的组件。
接下来我将逐一总结这些组件的安装配置，启动方式，启动后jps的详细内容。以及组件使用的具体细节。
顺序如下：
1 hadoop
2 flume
3 kafka
4 zookeeper
5 hive
6 hbase
7 spark
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
此外，这两年做过的项目里面，除了做过一些使用sql（hive oracle shell）进行报表生成的项目之外，还有主要就是kafka贴源层数据接入。
其中第一个使用scala编写，是我的第一个项目，各方面都很不成熟。
第二个使用java编写（跟随项目组），从这个项目中学习到了配置分离，密码加密，安全认证（解决24小时认证过期问题），日志优化，
以及一些基本的概要设计和详细设计（防重，防错，防漏，可监控，可配置化等实现细节）。
以后会逐一进行总结，并仔细阅读java开发规范文档。
ogg mysql kafka
【https://blog.csdn.net/wuwenxiang91322/article/details/78807905】
Spark Structured Streaming
[https://blog.csdn.net/asd136912/article/details/88320740]
https://blog.csdn.net/lovechendongxing/article/details/81748553
监听
https://www.cnblogs.com/yyy-blog/p/10253830.html
kafka细节
https://www.cnblogs.com/superfj/p/9440835.html
https://blog.csdn.net/siantbaicn/article/details/78616642
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
以后的项目实践：
流处理高级数据分析应用
离线数据分析应用
https://www.jianshu.com/p/b7db4d26361b
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
研究设计模式，使项目开发结构更加灵活，方便修改。