• zeppelin的安装与使用


      想起马上就能回家了,心情是按捺不住的激动,唉,还是继续努力吧,其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀

      今天我们来使用zeppelin,这个就是可以把我们查找的数据可以图形化的方式显示出来,好了,今天开始我们的任务吧

      1.首先我们要下载zeppelin的压缩包,当我们解压之后(这一台主机上面已经安装过了java的环境)

      2.修改配置环境

       进入conf/

       将zeppelin-env.sh.template修改为zeppelin-env.sh

       将zeppelin-site.xml.template修改为zeppelin-site.xml

      

       然后我们接下来修改conf/zeppelin-env.sh新增

          export SPARK_MASTER_IP=192.168.109.136

          export SPARK_LOCAL_IP=192.168.109.136

      3.启动zeppelin

        进入zeppelin:进入bin目录下执行./zeppelin-daemon.sh start

        然后浏览器访问192.168.109.136:8080进入界面

      

          此时就启动成功

      4.zeppelin简单实用

        1.text

        

        2.html

        

        3.table

        

        

        5.可以对数据进行分析

        对于我做的最多的分析,就是基于学校的那个资料,我有学校里面的信息,这个里面的每一行的信息是以","

        进行分隔,这个其中里面的民族,此时我们对这个民族进行分析

        

        由于我们这个zeppelin是在linux里面的启动,所以我们必须把原有的数据放到linux的里面,此时zeppelin读的文件目录是linux里面的目录

        

        

        则此时我们就可以对数据库里面的东西进行视图分析,我们通过这个数据,我们发现通过读取数据

        ,以分组的方式,然后在查询数据有多少个,这样就可以对数据进行显示

        a.

    val text = sc.textFile("/tmp/xjdx.txt")
    case class Person(college:String,time:Integer)
    val rdd1 = text.map(line =>{
        val fields = line.split(",")
        if(fields.length >=10){
          val mz = fields(10)
          Person(mz,1)
        }else{
            Person("1",1)
        }
    })

        b.

    rdd1.toDF().registerTempTable("rdd1")

        c.

    %sql select college,count(1) from rdd1 group by college

        这个里面只是针对于存储介质是文件的形式,对于数据库的那个有问题,我会在以后的章节继续介绍的,敬请期待

  • 相关阅读:
    Java简单获取当前时间
    基EmguCv/OpenCv的零件的缺陷检测
    cURL实现模拟登陆+抓取数据
    Learnjava--色子点数概率(转)
    java读写txt文件
    java jdk1.8连接sql server数据库
    简单随机选人网站设计
    封装cURL工具类
    在Linux下安装PHP的curl扩展
    Jsp四种变量作用范围
  • 原文地址:https://www.cnblogs.com/wnbahmbb/p/6291599.html
Copyright © 2020-2023  润新知