• hadoop学习之旅2


    集群搭建文档1.0版本

    1. 集群规划

    所有需要用到的软件:

    链接:http://pan.baidu.com/s/1jIlAz2Y 
    密码:kyxl

    2.0 系统安装
     
    2.1 主机名配置
     
        2.1.0 vi /etc/sysconfig/network
            NETWORKING=yes
     
        2.1.1 vi /etc/sysconfig/network
            NETWORKING=yes
            HOSTNAME=ys02
     
        2.1.2 vi /etc/sysconfig/network
            NETWORKING=yes
     
        2.1.3 vi /etc/sysconfig/network
            NETWORKING=yes
            HOSTNAME=ys04
     
    2.2 host文件修改
        2.2.0 vi /etc/hosts
            10.1.1.149 ys01
            10.1.1.148 ys02
            10.1.1.146 ys03
            10.1.1.145 ys04
    2.3 关闭防火墙(centos 7默认使用的是firewall,centos 6 默认是iptables)
     
        2.3.0 systemctl stop firewalld.service (停止firewall)
     
        2.3.1 systemctl disable firewalld.service (禁止firewall开机启动)
     
        2.3.2 firewall-cmd --state (查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
     
    2.4 免密登录(ys01 ->ys02,03,04)
        ssh-keygen -t rsa
        ssh-copy-id ys02(随后输入密码)
        ssh-copy-id ys03(随后输入密码)
        ssh-copy-id ys04(随后输入密码)
        ssh ys02(测试是否成功)
        ssh ys03(测试是否成功)
        ssh ys04(测试是否成功)
     
    2.5 系统时区与时间同步
        tzselect(生成日期文件)
        cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime(将日期文件copy到本地时间中)

    3. 软件安装

    3.0 安装目录规划(软件为所有用户公用)
     
        3.0.0所有软件的安装放到/usr/local/ys/soft目录下(mkdir /usr/local/ys/soft)
     
        3.0.1所有软件安装到/usr/local/ys/app目录下(mkdir /usr/local/ys/app)
     
     3.1 JDK(jdk1.7)安装
     
        3.1.1 alt+p 后出现sftp窗口,cd /usr/local/ys/soft,使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
     
        3.1.2解压jdk
          cd /usr/local/ys/soft
            #解压
            tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local/ys/app
     
        3.1.3将java添加到环境变量中
        vim /etc/profile
        #在文件最后添加
        export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
        export PATH=$PATH:$JAVA_HOME/bin
     
        3.1.4 刷新配置
        source /etc/profile
     
    3.2 Zookeeper安装
     
        3.2.0解压
        tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/ys/app(解压)
     
        3.2.1 重命名
        mv zookeeper-3.4.5 zookeeper(重命名文件夹zookeeper-3.4.5为zookeeper)
     
        3.2.2修改环境变量
        vi /etc/profile(修改文件)
        添加内容:
        export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
        export PATH=$PATH:$ZOOKEEPER_HOME/bin
     
        3.2.3 重新编译文件:
        source /etc/profile
        注意:3台zookeeper都需要修改
     
        3.2.4修改配置文件
        cd zookeeper/conf
        cp zoo_sample.cfg zoo.cfg
        vi zoo.cfg
        添加内容:
        dataDir=/usr/local/ys/app/zookeeper/data
        dataLogDir=/usr/local/ys/app/zookeeper/log
        server.1=ys01:2888:3888 (主机名, 心跳端口、数据端口)
        server.2=ys02:2888:3888
        server.3=ys04:2888:3888
     
        3.2.5 创建文件夹
        cd /usr/local/ys/app/zookeeper/
        mkdir -m 755 data
        mkdir -m 755 log
     
        3.2.6 在data文件夹下新建myid文件,myid的文件内容为:
        cd data
        vi myid
        添加内容:
            1
        将集群下发到其他机器上
        scp -r /usr/local/ys/app/zookeeper ys02:/usr/local/ys/app/
        scp -r /usr/local/ys/app/zookeeper ys04:/usr/local/ys/app/
     
        3.2.7修改其他机器的配置文件
        到ys02上:修改myid为:2
        到ys02上:修改myid为:3
     
        3.2.8启动(每台机器)
        zkServer.sh start
        查看集群状态
        jps(查看进程)
        zkServer.sh status(查看集群状态,主从信息)
     
    3.3 Hadoop(HDFS+Yarn)
     
        3.3.0 alt+p 后出现sftp窗口,使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
     
        3.3.1 解压jdk
          cd /usr/local/ys/soft
            #解压
            tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/local/ys/app
     
        3.3.2 修改配置文件
     
    core-site.xml

    hdfs-site.xml

     

    yarn-sifite.xml

    
    
    svales
    ys02
    ys03
    ys04
    3.3.3集群启动(严格按照下面的步骤)
        3.3.3.1启动zookeeper集群(分别在ys01、ys02、ys04上启动zk)
            cd /usr/local/ys/app/zookeeper-3.4.5/bin/
            ./zkServer.sh start
            #查看状态:一个leader,两个follower
            ./zkServer.sh status
     
        3.3.3.2启动journalnode(分别在在mini5、mini6、mini7上执行)
            cd /usr/local/ys/app/hadoop-2.6.4
            sbin/hadoop-daemon.sh start journalnode
            #运行jps命令检验,ys02、ys03、ys04上多了JournalNode进程
     
        3.3.3.3格式化HDFS
            #在ys01上执行命令:
            hdfs namenode -format
            #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp,然后将/usr/local/ys/app/hadoop-2.6.4/tmp拷贝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
            scp -r tmp/ ys02:/usr/local/ys /app/hadoop-2.6.4/
            ##也可以这样,建议hdfs namenode -bootstrapStandby
     
        3.3.3.4格式化ZKFC(在ys01上执行一次即可)
            hdfs zkfc -formatZK
     
        3.3.3.5启动HDFS(在ys01上执行)
            sbin/start-dfs.sh
     
        3.3.3.6启动YARN
            sbin/start-yarn.sh
     
    3.3MySQL-5.6安装
        略过
     
    3.4 Hive
     
        3.4.1 alt+p 后出现sftp窗口,cd /usr/local/ys/soft,使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
     
        3.4.2解压
        cd /usr/local/ys/soft
    tar -zxvf hive-0.9.0.tar.gz -C /usr/local/ys/app
     
        3.4.3 .配置hive
     
            3.4.3.1配置HIVE_HOME环境变量  vi conf/hive-env.sh 配置其中的$hadoop_home
     
            3.4.3.2配置元数据库信息   vi  hive-site.xml 

    3.4.4 安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下
        如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行)
        mysql -uroot -p
        #(执行下面的语句  *.*:所有库下的所有表   %:任何IP地址或主机都可以连接)
        GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
        FLUSH PRIVILEGES;
     
        3.4.5 Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /usr/local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
     
        3.4.6启动hive
        bin/hive
     
    3.5 Kafka
        3.5.1 下载安装包
        http://kafka.apache.org/downloads.html
        在linux中使用wget命令下载安装包
        wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
     
      3.5.2 解压安装包
        tar -zxvf /usr/local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
    cd /usr/local/ys/app/
    ln -s kafka_2.11-0.8.2.2 kafka
     
      3.5.3 修改配置文件
        cp 
        /usr/local/ys/app/kafka/config/server.properties
       /usr/local/ys/app/kafka/config/server.properties.bak
        vi  /usr/local/ys/kafka/config/server.properties

    输入以下内容

    3.5.4 分发安装包
        scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
        scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
        scp -r /usr/local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
        然后分别在各机器上创建软连
        cd /usr/local/ys/app/
        ln -s kafka_2.11-0.8.2.2 kafka
     
     3.5.5 再次修改配置文件(重要)
       依次修改各服务器上配置文件的的broker.id,分别是0,1,2不得重复。
     
     3.5.6 启动集群
        依次在各节点上启动kafka
        bin/kafka-server-start.sh  config/server.properties
     
    3.6 Spark
     
        3.6.1 alt+p 后出现sftp窗口,cd /usr/local/ys/soft,使用sftp上传tar包到虚机ys01的/usr/local/ys/soft目录下
     
        3.6.2  解压安装包
    tar -zxvf /usr/local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/
     
        3.6.3 修改Spark配置文件(两个配置文件spark-env.sh和slaves)
        cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
        进入conf目录并重命名并修改spark-env.sh.template文件
        cd conf/
        mv spark-env.sh.template spark-env.sh
        vi spark-env.sh
        在该配置文件中添加如下配置
        export JAVA_HOME=/usr/java/jdk1.7.0_45
        export SPARK_MASTER_PORT=7077
        export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
        保存退出
        重命名并修改slaves.template文件
        mv slaves.template slaves
        vi slaves
        在该文件中添加子节点所在的位置(Worker节点)
        Ys02
        Ys03
        Ys04
        保存退出
     
        3.6.4 将配置好的Spark拷贝到其他节点上
        scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/local/ys/app
        scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/local/ys/app
        scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/local/ys/app
     
        3.6.5 集群启动
        在ys01上执行sbin/start-all.sh脚本
        然后在ys02上执行sbin/start-master.sh启动第二个Master
     
    3.7 Azkaban
     
        3.7.1 azkaban web服务器安装
            解压azkaban-web-server-2.5.0.tar.gz
            命令: tar –zxvf /usr/local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
           将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 webserver
         命令: mv azkaban-web-server-2.5.0 ../azkaban
           cd ../azkaban
            mv azkaban-web-server-2.5.0   webserver
     
         3.7.2 azkaban 执行服器安装
             解压azkaban-executor-server-2.5.0.tar.gz
             命令:tar –zxvf /usr/local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
         将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor
       命令:mv azkaban-executor-server-2.5.0  ../azkaban
       cd ../azkaban
       mv azkaban-executor-server-2.5.0  executor
     
        3.7.3 azkaban脚本导入
            解压: azkaban-sql-script-2.5.0.tar.gz
            命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
            将解压后的mysql 脚本,导入到mysql中:
            进入mysql
            mysql> create database azkaban;
            mysql> use azkaban;
            Database changed
            mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;
     
        3.7.4 创建SSL配置
        参考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
        命令: keytool -keystore keystore -alias jetty -genkey -keyalg RSA
        运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下(此处我输入的密码为:123456)
        输入keystore密码: 
        再次输入新密码:
        您的名字与姓氏是什么?
        [Unknown]: 
        您的组织单位名称是什么?
        [Unknown]: 
        您的组织名称是什么?
        [Unknown]: 
        您所在的城市或区域名称是什么?
        [Unknown]: 
        您所在的州或省份名称是什么?
        [Unknown]: 
        该单位的两字母国家代码是什么
         [Unknown]:  CN
        CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
        [否]:  y
    输入<jetty>的主密码(如果和 keystore 密码相同,按回车): 
    再次输入新密码
    完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver
     
        3.7.5 配置文件
        注:先配置好服务器节点上的时区
        先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可
        拷贝该时区文件,覆盖系统本地时区配置
        cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime  
     
        3.7.6 azkaban web服务器配置
        进入azkaban web服务器安装目录 conf目录
        修改azkaban.properties文件
        命令vi azkaban.properties

    内容说明如下:

    *Azkaban Personalization Settings
    azkaban.name=Test                           #服务器UI名称,用于服务器上方显示的名字
    azkaban.label=My Local Azkaban                               #描述
    azkaban.color=#FF3601                                                 #UI颜色
    azkaban.default.servlet.path=/index                         #
    web.resource.dir=web/                                                 #默认根web目录
    default.timezone.id=Asia/Shanghai                           #默认时区,已改为亚洲/上海 默认为美国
     
    *Azkaban UserManager class
    user.manager.class=azkaban.user.XmlUserManager   #用户权限管理默认类
    user.manager.xml.file=conf/azkaban-users.xml              #用户配置,具体配置参加下文
     
    *Loader for projects
    executor.global.properties=conf/global.properties    # global配置文件所在位置
    azkaban.project.dir=projects                                                #
     
    database.type=mysql                                                              #数据库类型
    mysql.port=3306                                                                       #端口号
    mysql.host=localhost                                                      #数据库连接IP
    mysql.database=azkaban                                                       #数据库实例名
    mysql.user=root                                                                 #数据库用户名
    mysql.password=Root123456                                                        #数据库密码
    mysql.numconnections=100                                                  #最大连接数
     
    * Velocity dev mode
    velocity.dev.mode=false
    * Jetty服务器属性.
    jetty.maxThreads=25                                                               #最大线程数
    jetty.ssl.port=8443                                                                   #Jetty SSL端口
    jetty.port=8081                                                                         #Jetty端口
    jetty.keystore=keystore                                                          #SSL文件名
    jetty.password=123456                                                             #SSL文件密码
    jetty.keypassword=123456                                                      #Jetty主密码 与 keystore文件相同
    jetty.truststore=keystore                                                                #SSL文件名
    jetty.trustpassword=123456                                                   # SSL文件密码
     
    * 执行服务器属性
    executor.port=12321                                                               #执行服务器端
     
    *邮件设置
    mail.sender=xxxxxxxx@163.com                                       #发送邮箱
    mail.host=smtp.163.com                                                       #发送邮箱smtp地址
    mail.user=xxxxxxxx                                       #发送邮件时显示的名称
    mail.password=**********                                                 #邮箱密码
    job.failure.email=xxxxxxxx@163.com                              #任务失败时发送邮件的地址
    job.success.email=xxxxxxxx@163.com                            #任务成功时发送邮件的地址
    lockdown.create.projects=false                                           #
    cache.directory=cache                                                            #缓存目录
     
             3.7.7azkaban 执行服务器executor配置
             进入执行服务器安装目录conf,修改azkaban.properties
             vi azkaban.properties
    *Azkaban
    default.timezone.id=Asia/Shanghai                                              #时区
     
    * Azkaban JobTypes 插件配置
    azkaban.jobtype.plugin.dir=plugins/jobtypes                   #jobtype 插件所在位置
     
    *Loader for projects
    executor.global.properties=conf/global.properties
    azkaban.project.dir=projects
     
    *数据库设置
    database.type=mysql                                                                       #数据库类型(目前只支持mysql)
    mysql.port=3306                                                                                #数据库端口号
    mysql.host=192.168.20.200                                                           #数据库IP地址
    mysql.database=azkaban                                                                #数据库实例名
    mysql.user=root                                                                       #数据库用户名
    mysql.password=Root23456                                #数据库密码
    mysql.numconnections=100                                                           #最大连接数
     
    *执行服务器配置
    executor.maxThreads=50                                                                #最大线程数
    executor.port=12321                                                               #端口号(如修改,请与web服务中一致)
    executor.flow.threads=30                                                                #线程数

     3.7.9 web服务器启动
        在azkaban web服务器目录下执行启动命令
        bin/azkaban-web-start.sh
        注:在web服务器根目录运行
        或者启动到后台
        nohup  bin/azkaban-web-start.sh  1>/tmp/azstd.out  2>/tmp/azerr.out &
     
        3.7.10执行服务器启动
     
        在执行服务器目录下执行启动命令
        bin/azkaban-executor-start.sh
        注:只能要执行服务器根目录运行
     
        启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login
     
    3.8 Zeppelin
    参照如下文件:
    http://blog.csdn.net/chengxuyuanyonghu/article/details/54915817
    http://blog.csdn.net/chengxuyuanyonghu/article/details/54915962
     
    3.9 HBase
        3.9.1解压
        tar –zxvf  /usr/local/ys/soft/hbase-0.99.2-bin.tar.gz  -C /usr/local/ys/app
     
        3.9.2重命名
        cd  /usr/local/ys/app
        mv hbase-0.99.2 hbase
     
        3.9.3修改配置文件
         每个文件的解释如下:
        hbase-env.sh
        export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80   //jdk安装目录
        export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop  //hadoop配置文件的位置
        export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false(此处使用自己的zookeeper)
     
    hbase-site.xml

    Regionservers    //是从机器的域名
    Ys02
    ys03
    ys04
     
    注:此处HBase配置是针对HA模式的hdfs
     
        3.9.4将Hadoop的配置文件hdfs-site.xml和core-site.xml拷贝到HBase配置文件中
        cp /usr/local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
        cp /usr/local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf
     
        3.9.5发放到其他机器
        scp –r /usr/local/ys/app/hbase ys02: /usr/local/ys/app
        scp –r /usr/local/ys/app/hbase ys03: /usr/local/ys/app
        scp –r /usr/local/ys/app/hbase ys04: /usr/local/ys/app
     
        3.9.6启动
        cd  /usr/local/ys/app/hbase/bin
        ./ start-hbase.sh
     
        3.9.7查看
        进程:jps
        进入hbase的shell:hbase shell
        退出hbase的shell:quit
        页面:http://master:60010/ 
     
    3.10KAfkaOffsetMonitor(Kafka集群的监控程序,本质就是一个jar包)
     
        3.10.1上传jar包
        略
     
    3.10.2 运行jar包
    nohup java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

    4. 集群调优

    4.1 辅助工具尽量不安装到数据或者运算节点,避免占用过多计算或内存资源。
     
    4.2 dataNode和spark的slave节点尽量在一起;这样运算的时候就可以避免通过网络拉取数据,加快运算速度。
     
    4.3 Hadoop集群机架感知配置,配置之后可以使得数据在同机架的不同机器2份,然后其他机架机器1份,可是两台机器四台虚机没有必要配感知个人感觉。
     
    4.4 配置参数调优
    可以参考http://blog.csdn.net/chndata/article/details/46003399

    第三阶段(辅助工具工学习阶段)

    11)Sqoop(CSDN,51CTO ,以及官网)—20小时

     

    1. 数据导出概念介绍
    2. Sqoop基础知识
    3. Sqoop原理及配置说明
    4. Sqoop数据导入实战
    5. Sqoop数据导出实战、
    6. Sqoop批量作业操作

    推荐学习博客:http://student-lp.iteye.com/blog/2157983 
    官网:http://sqoop.apache.org/

    12)Flume(CSDN,51CTO ,以及官网)—20小时

    1. FLUME日志采集框架介绍。
    2. FLUME工作机制。
    3. FLUME核心组件。
    4. FLUME参数配置说明。
    5. FLUME采集nginx日志案例(案例一定要实践一下)

    推荐学习博客:http://www.aboutyun.com/thread-8917-1-1.html 
    官网:http://flume.apache.org

    13)Oozie(CSDN,51CTO ,以及官网)–20小时

    1. 任务调度系统概念介绍。
    2. 常用任务调度工具比较。
    3. Oozie介绍。
    4. Oozie核心概念。
    5. Oozie的配置说明。
    6. Oozie实现mapreduce/hive等任务调度实战案例。

    推荐学习博客:http://www.infoq.com/cn/articles/introductionOozie 
    官网:http://oozie.apache.org/

    14)Hue(CSDN,51CTO ,以及官网)–20小时

    推荐学习博客:http://ju.outofmemory.cn/entry/105162 
    官网:http://gethue.com/

    第四阶段(不断学习阶段)

    每天都会有新的东西出现,需要关注最新技术动态,不断学习。任何一般技术都是先学习理论,然后在实践中不断完善理论的过程。

    备注

    1)如果你觉得自己看书效率太慢,你可以网上搜集一些课程,跟着课程走也OK 。如果看书效率不高就很网课,相反的话就自己看书。

    2)企业目前更倾向于使用Spark进行微批处理,Storm只有在对时效性要求极高的情况下,才会使用,所以可以做了解。重点学习Spark Streaming。

    3)快速学习的能力、解决问题的能力、沟通能力**真的很重要。

    4)要善于使用StackOverFlow和Google(遇到解决不了的问题,先Google,如果Google找不到解决方能就去StackOverFlow提问,一般印度三哥都会在2小时内回答你的问题)。

    5)视频课程推荐:

    可以去万能的淘宝购买一些视频课程,你输入“大数据视频课程”,会出现很多,多购买几份(100块以内可以搞定),然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。

    四、持续学习资源推荐

    1. Apache 官网(http://apache.org/
    2. Stackoverflow(https://stackoverflow.com/
    3. Github(https://github.com/)
    4. Cloudra官网(https://www.cloudera.com/)
    5. Databrick官网(https://databricks.com/)
    6. About 云 :http://www.aboutyun.com/
    7. CSDN,51CTO (http://www.csdn.net/http://www.51cto.com/
    8. 至于书籍当当一搜会有很多,其实内容都差不多。

    五、项目案例分析

    1)点击流日志项目分析(此处借鉴CSDN博主的文章,由于没有授权,所以就没有贴过来,下面附上链接)—-批处理

    http://blog.csdn.net/u014033218/article/details/76847263

    2)Spark Streaming在京东的项目实战(京东的实战案例值得好好研究一下,由于没有授权,所以就没有贴过来,下面附上链接)—实时处理 
    http://download.csdn.net/download/csdndataid_123/8079233

    最后但却很重要一点:每天都会有新的技术出现,要多关注技术动向,持续学习。

    以上内容不保证一年以后仍适用。

    【GitChat达人课】

      1. 前端恶棍 · 大漠穷秋 :《Angular 初学者快速上手教程 
      2. Python 中文社区联合创始人 · Zoom.Quiet :《GitQ: GitHub 入味儿 
      3. 前端颜值担当 · 余博伦:《如何从零学习 React 技术栈 
      4. GA 最早期使用者 · GordonChoi:《GA 电商数据分析实践课
      5. 技术总监及合伙人 · 杨彪:《Gradle 从入门到实战
      6. 混元霹雳手 · 江湖前端:《Vue 组件通信全揭秘
      7. 知名互联网公司安卓工程师 · 张拭心:《安卓工程师跳槽面试全指南

    参考资料:https://blog.csdn.net/qq_23832313/article/details/81115964?tdsourcetag=s_pcqq_aiomsg

  • 相关阅读:
    mac shell终端编辑命令行快捷键——行首行尾
    mac appium 启动genymotion
    mac eclipse 执行adb 命令,提示command not fount
    java jsch 登录linux系统避免手动输入Yes 或Always
    mac 安装android sdk
    内容选择器
    增强基本选择器[selector_3.html]
    层次选择器[selector_2.html]
    基本选择器
    jquery 入门与知识
  • 原文地址:https://www.cnblogs.com/javadongx/p/hadoop_storm_spark_hdfs_hive.html
Copyright © 2020-2023  润新知