• 大三寒假学习 18级实训群视频1


      新的一年开始新的学习,寒假老师布置了很多作业,包括每日总结的发布,spark基础实验报告,完成钉钉群的两个项目。今天主要观看了钉钉群的课程回访,第一个视频主要介绍了大数据实验平台的功能和使用,但是学校的实验平台只有大四的才能使用,与我们没关系,所以只是大致浏览的一遍,主要看了第二个视频,项目理论。

      首先老师提了一下CM框架,从来没听说过,先了解一下,将来学习。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

      老师从企业开始,讲了企业开发常用的hadoop三大发行版本,这里简单介绍一下。Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。

      老师大致解说了公司总项目的开发流程。老师举了自己的亲身例子,他们10个人开发离线分析平台花了九个月,其中编码1个月,重要的是需求调研。下面是公司软件开发的基本流程。

      项目开发流程

      项目调研

        从零开始

        需求调研

          流行的大数据框架

      项目需求分析

        有什么需求。需求分析得到什么样的结果

      项目设计

        概要设计

          大方向,框架级别

        详细设计

          具体的模块设计、表的设计

      项目编码  30%时间

        编码

        需要不断测试

      项目测试

        单元测试

        联调测试

      项目上线运行

        试运行阶段

        正式运行

      项目的运维

      项目的优化

  • 相关阅读:
    挑战程序设计竞赛第二章、贪心部分
    Life is Strange:《奇异人生》
    算法竞赛进阶指南第二章--题解
    算法竞赛进阶指南第一章题解
    2018 IEEE极限编程大赛 题解
    爬格子呀9.17(图论)
    大数模板(加减乘除幂次开方)
    地理位置(Geolocation)API 简介
    javascript闭包的理解
    H5本地离线存储
  • 原文地址:https://www.cnblogs.com/fengchuiguobanxia/p/15755916.html
Copyright © 2020-2023  润新知