• SparkSQL JDBC和JDBCServer区别


    注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。

    SparkSQL JDBC

    SparkSQL可以使用JDBC的方式访问其他数据库,和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。而操作数据库的过程和Spark没什么关系。这个功能优先于使用JDBCRDD。因为它返回一个DataFrame,而DataFrame在SparkSQL中具有更加丰富的API,操作更加简单,由于其具有结构化schema,所以更容易个来自其他的半结构化和结构化数据源的数据进行交互关联。

    val jdbcDF = sqlContext.read.format("jdbc").options( Map("url" -> "jdbc:postgresql:dbserver", "dbtable" -> "schema.tablename")).load() 

    SparkSQL JDBCServer

    SparkSQL JDBCServer是Spark提供的一个独立运行的driver,用于在其他应用中执行SparkSQL查询。例如其他的非Spark应用,可能处于数据共享的原因,需要在一个Spark集群上面执行一个SQL操作,它本身和Spark没有什么关系,也不需要安装Spark运行环境,只是通过Spark提供的JDBC接口(不同于上面说的接口)将SQL命令下发到SparkSQL,后续的工作就是JDBCServer的事情了。

  • 相关阅读:
    [转载]Sublime Text 3 搭建 React.js 开发环境
    浏览器缓存之Expires Etag Last-Modified max-age详解
    第16周作业
    第15周作业
    第14周作业
    第13周作业集
    软件工程结课作业
    第13次作业--邮箱的正则表达式
    第12次作业--你的生日
    第11次作业--字符串处理
  • 原文地址:https://www.cnblogs.com/maxigang/p/10156960.html
Copyright © 2020-2023  润新知