• 大三寒假学习 18级实训群视频1


      新的一年开始新的学习,寒假老师布置了很多作业,包括每日总结的发布,spark基础实验报告,完成钉钉群的两个项目。今天主要观看了钉钉群的课程回访,第一个视频主要介绍了大数据实验平台的功能和使用,但是学校的实验平台只有大四的才能使用,与我们没关系,所以只是大致浏览的一遍,主要看了第二个视频,项目理论。

      首先老师提了一下CM框架,从来没听说过,先了解一下,将来学习。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

      老师从企业开始,讲了企业开发常用的hadoop三大发行版本,这里简单介绍一下。Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。

      老师大致解说了公司总项目的开发流程。老师举了自己的亲身例子,他们10个人开发离线分析平台花了九个月,其中编码1个月,重要的是需求调研。下面是公司软件开发的基本流程。

      项目开发流程

      项目调研

        从零开始

        需求调研

          流行的大数据框架

      项目需求分析

        有什么需求。需求分析得到什么样的结果

      项目设计

        概要设计

          大方向,框架级别

        详细设计

          具体的模块设计、表的设计

      项目编码  30%时间

        编码

        需要不断测试

      项目测试

        单元测试

        联调测试

      项目上线运行

        试运行阶段

        正式运行

      项目的运维

      项目的优化

  • 相关阅读:
    HTML DOM Document 对象
    浏览器对象模型 BOM
    JavaScript数组和字符串基础
    JavaScript基础一
    css属性hack
    浏览器兼容性问题
    css常见居中方法
    初析BFC
    学习Css的初级篇
    THML基础学习
  • 原文地址:https://www.cnblogs.com/fengchuiguobanxia/p/15755916.html
Copyright © 2020-2023  润新知