• 大数据学习计划


    大数据学习计划
    模块 选定学习资料 预计用时
    Linux http://www.runoob.com/linux/linux-tutorial.html 7天
    Hadoop https://www.w3cschool.cn/hadoop/ 30天
    ZooKeeper https://www.w3cschool.cn/zookeeper/ 3天
    Kafka https://www.w3cschool.cn/apache_kafka/ 3天
    Spark https://www.w3cschool.cn/spark/ 30天
    Python https://www.w3cschool.cn/python3/ 30天
    Docker https://www.w3cschool.cn/reqsgr/ 3天
    一、Java编程技术
    Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等,是大数据工程师最喜欢的编程工具,因此,想学好大数据,掌握Java基础是必不可少的。
     
    二、Hadoop
    HDFS: 分布式存储系统,包含NameNode,DataNode。NameNode:元数据,DataNode。DataNode:存数数据。
    yarn: 可以理解为MapReduce的协调机制,本质就是Hadoop的处理分析机制,分为ResourceManager NodeManager。
    MapReduce: 软件框架,编写程序。
    Hive: 数据仓库 可以用SQL查询,可以运行Map/Reduce程序。用来计算趋势或者网站日志,不应用于实时查询,需要很长时间返回结果。
    HBase: 数据库。非常适合用来做大数据的实时查询。Facebook用Hbase存储消息数据并进行消息实时的分析
    ZooKeeper: 针对大型分布式的可靠性协调系统。Hadoop的分布式同步等靠Zookeeper实现,例如多个NameNode,active standby切换。
    Sqoop: 数据库相互转移,关系型数据库和HDFS相互转移
    Mahout: 可扩展的机器学习和数据挖掘库。用来做推荐挖掘,聚集,分类,频繁项集挖掘。
    Chukwa: 开源收集系统,监视大型分布式系统,建立在HDFS和Map/Reduce框架之上。显示、监视、分析结果。
    Ambari: 用于配置、管理和监视Hadoop集群,基于Web,界面友好。
     
    三、Linux命令
    对于大数据开发通常是在Linux环境下进行的,相比Linux操作系统,Windows操作系统是封闭的操作系统,开源的大数据软件很受限制,因此,想从事大数据开发相关工作,还需掌握Linux基础操作命令。
     
    四、storm
    Storm: 分布式,容错的实时流式计算系统,可以用作实时分析,在线机器学习,信息流处理,连续性计算,分布式RPC,实时处理消息并更新数据库。
    Kafka: 高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据(浏览,搜索等)。相对Hadoop的日志数据和离线分析,可以实现实时处理。目前通过Hadoop的并行加载机制来统一线上和离线的消息处理
    Redis: 由c语言编写,支持网络、可基于内存亦可持久化的日志型、key-value型数据库。
     
    五、Spark
    Scala: 一种类似java的完全面向对象的编程语言。
    jblas:一个快速的线性代数库(JAVA)。基于BLAS与LAPACK,矩阵计算实际的行业标准,并使用先进的基础设施等所有的计算程序的ATLAS艺术的实现,使其非常快。
    Spark: Spark是在Scala语言中实现的类似于Hadoop MapReduce的通用并行框架,除了Hadoop MapReduce所具有的优点,但不同于MapReduce的是job中间输出结果可以保存在内存中,从而不需要读写HDFS,因此Spark能更好的适用于数据挖掘与机器学习等需要迭代的MapReduce算法。可以和Hadoop文件系统并行运作,用过Mesos的第三方集群框架可以支持此行为。
    Spark SQL: 作为Apache Spark大数据框架的一部分,可用于结构化数据处理并可以执行类似SQL的Spark数据查询
    Spark Streaming: 一种构建在Spark上的实时计算框架,扩展了Spark处理大数据流式数据的能力。
    Spark MLlib: MLlib是Spark是常用的机器学习算法的实现库,目前(2014.05)支持二元分类,回归,聚类以及协同过滤。同时也包括一个底层的梯度下降优化基础算法。MLlib以来jblas线性代数库,jblas本身以来远程的Fortran程序。
    Spark GraphX: GraphX是Spark中用于图和图并行计算的API,可以在Spark之上提供一站式数据解决方案,可以方便且高效地完成图计算的一整套流水作业。
    Fortran: 最早出现的计算机高级程序设计语言,广泛应用于科学和工程计算领域。
    BLAS: 基础线性代数子程序库,拥有大量已经编写好的关于线性代数运算的程序。
    LAPACK:著名的公开软件,包含了求解科学与工程计算中最常见的数值线性代数问题,如求解线性方程组、线性最小二乘问题、特征值问题和奇异值问题等。
    ATLAS: BLAS线性算法库的优化版本。
    Spark: Spark是由scala语言编写的,但是为了推广和兼容,提供了java和python接口。
     
    六、Python
    Python是面向对象的编程语言,拥有丰富的库,使用简单,应用广泛,在大数据领域也有所应用,主要可用于数据采集、数据分析以及数据可视化等,因此,大数据开发需学习一定的Python知识。
    人生苦短,我用Python
     
    七、云计算平台
    Docker: 开源的应用容器引擎
    kvm: (Keyboard Video Mouse)
    openstack:  开源的云计算管理平台项目
     
     

     

  • 相关阅读:
    sop服务治理
    调用链跟踪基本原理
    spring源码之bean的初始化及循环引用
    单调栈
    SpringBoot启动源码及自定义starter
    深入理解kafka
    Netty小结
    Oooooooooooooooooooooooooooooooooooooooooops, AN EMPTY AREA here.
    牛客OI周赛7-提高组 A 小睿睿的等式
    素数筛法求素数
  • 原文地址:https://www.cnblogs.com/WYPDF/p/10345157.html
Copyright © 2020-2023  润新知