• 2019最新大数据学习路线


    在中国,大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示,目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比,增长率高达67%;大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国,大数据浪潮正在深刻改变着各行各业,而各行各业对大数据人才的需求,以及技术从业者希望跻身大数据高级人才的需求也变得越来越强烈。

    但想要成为一名合格的大数据工程师,必须具备一定的技术,总结了一下:

     

    1、必须技能10:

    01.Java高级编程(虚拟机、并发)

    02.Linux 基本操作

    03.Hadoop(此处指HDFS+MapReduce+Yarn

    04.HBaseJavaAPI操作+Phoenix

    05.Hive

    06.Kafka 

    07.Storm

    08.Scala

    09.Python

    10.Spark (Core+sparksql+Spark streaming

    2、进阶技能6:

    11.机器学习算法以及mahout库加MLlib

    12.R语言

    13.Lambda 架构

    14.Kappa架构

    15.Kylin

    16.Aluxio

    对于大数据技术的学习,我们老师给出了以下学习路线图可供规划自己的学习之路!

     

    阶段一、大数据基础——java语言基础方面

    (1)Java语言基础

    Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

    (2) HTML、CSS与JavaScript

    PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用

    (3)JavaWeb和数据库

    数据库、JavaWeb开发核心、JavaWeb开发内幕

    阶段 Linux&Hadoop生态体系

    Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

    阶段 分布式计算框架和Spark&Strom生态体系

    (1)分布式计算框架

    Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一:基于Spark的推荐系统(某一线公司真实项目)、实战二:新浪网(www.sina.com.cn)

    (2)storm技术架构体系

    Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一:日志告警系统项目、实战二:猜你喜欢推荐系统实战

    阶段 大数据项目实战(一线公司真实项目)

    数据获取、数据处理、数据分析、数据展现、数据应用

    阶段 大数据分析 —AI(人工智能)

    Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习

    1、Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目:户外设备识别分析

     学习建议:如果有足够的时间和精力,可以按照上面的学习路线图和视频教程进行自学。

  • 相关阅读:
    redis的发布订阅模式pubsub
    django集成celery之callback方式link_error和on_failure
    linux命令和awk
    使用beanstalkd实现定制化持续集成过程中pipeline
    JavaScript实现模糊推荐的input框(类似百度搜索框)
    hadoop streaming编程小demo(python版)
    一个scrapy框架的爬虫(爬取京东图书)
    mongodb生产环境(副本集模式)集群搭建配置
    TensorFlow加载图片的方法
    STC15W408AS简单使用教程-简单的光强检测!
  • 原文地址:https://www.cnblogs.com/qf-dd/p/10103766.html
Copyright © 2020-2023  润新知