新的一年开始新的学习,寒假老师布置了很多作业,包括每日总结的发布,spark基础实验报告,完成钉钉群的两个项目。今天主要观看了钉钉群的课程回访,第一个视频主要介绍了大数据实验平台的功能和使用,但是学校的实验平台只有大四的才能使用,与我们没关系,所以只是大致浏览的一遍,主要看了第二个视频,项目理论。
首先老师提了一下CM框架,从来没听说过,先了解一下,将来学习。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
老师从企业开始,讲了企业开发常用的hadoop三大发行版本,这里简单介绍一下。Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。
老师大致解说了公司总项目的开发流程。老师举了自己的亲身例子,他们10个人开发离线分析平台花了九个月,其中编码1个月,重要的是需求调研。下面是公司软件开发的基本流程。
项目开发流程
项目调研
从零开始
需求调研
流行的大数据框架
项目需求分析
有什么需求。需求分析得到什么样的结果
项目设计
概要设计
大方向,框架级别
详细设计
具体的模块设计、表的设计
项目编码 30%时间
编码
需要不断测试
项目测试
单元测试
联调测试
项目上线运行
试运行阶段
正式运行
项目的运维
项目的优化