• 开发环境中Flink连接远端Hive遇到的那些坑


      由于Flink1.11的更新对Hive增强了支持,所以想在原Hadoop集群安装Hive。Hive源数据库使用的mysql。

    遇到的问题如下:

      1、由于是用IDEA开发环境连接Hive,所以要在本地windows安装hadoop(不用启动的hadoop,主要是为了配路径,比较简单)

      2、maven依赖包是个麻烦事,需要注意官网提供的scope有很多都不能加,会报错,同时也需要安装一些其他的依赖,我使用的主要有以下这些:

        ——flink-table-api-java-bridge_2.11

        ——flink-connector-hive_2.11

        ——flink-table-planner-blink_2.11

        ——flink-streaming-java_2.11

        ——hive-exec

        ——libthrift

        ——hive-metastore

        ——hadoop-maoreduce-client-core

      3、hive用schematool初始化后别忘了用以下命令开启元数据服务

        hive --service metastore

    以上为遇到的主要问题

  • 相关阅读:
    拟阵学习笔记
    HNOI 2016 解题报告
    HNOI 2015 解题报告
    一类动态规划问题状态的简化
    组合数学学习笔记
    简单多项式学习笔记
    基础线代学习笔记
    后缀数据结构学习笔记
    图论学习笔记
    AT3673 [ARC085D] NRE 题解
  • 原文地址:https://www.cnblogs.com/liziof/p/13474002.html
Copyright © 2020-2023  润新知