• 服务器Hadoop+Hive搭建


    出于安全稳定考虑很多业务都需要服务器服务器Hadoop+Hive搭建,但经常有人问我,怎么去选择自己的配置最好,今天天气不错,我们一起来聊一下这个话题。

    Hadoop+Hive环境搭建

    1虚拟机系统安装+JDK环境

    JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行)

    修改/etc/profile,~/.bashrc 配置文件,修改环境变量。

    2 Hadoop安装

    Hadoop安装采用二进制文件压缩方式

    三种方式

    1 单机:修改 环境变量使得Hadoop命令在任何路径下可运行

    2 伪分布:修改配置文件 core-site.xml Hdfs-site.xml hadoop-env.sh

    格式化namenode,运行jps查看是否6个进程都已启动。

    集群

    三种方式分别需要修改配置文件。

    3 Hive安装

    Hive安装采用二进制文件压缩方式

    三种方式

    1 内嵌修改 环境变量使得Hive命令在任何路径下可运行

    2mysql

    安装mysql,修改配置文件hive-site.xml 使其连接mysql,同时将mysqljdbc放到hive、lib中

    3远程

    修改配置文件hive-site.xml 加上

    datanucleus.autoCreateSchema

    true

    Hive依赖于Hadoop,而Hadoop依赖于JDK,安装Hive后,Hive的启动交给Hadoop,需要配置hadoop配置文件,同时把hive/lib下的hive* jar拷贝到hadoop/lib下。在启动Hadoop时同时启动Hive,jsp查看是否存在进程runjar。

    4mysql安装

    采用二进制文件压缩方式,mysql安装之后需要配置密码登入方式,同时配置允许远程用户登入,为hive新建一个登入用户和数据库hive,授权。

    后话总结:
    要为自己的服务器选择一个合适的配置,要考虑IDC公司、线路、带宽、防御、机器硬件配置,机型+CPU+内存+硬盘等等,因为不同业务所考虑的核心点不大一样,所以我们需要抓住最核心的开始考虑,如开游戏、视频多人聊天、下载客户先考虑机房带宽防御,企业客户先考虑企业资质服务正规情况在考虑带宽充足情况等,根据自身不同的情况个性化选择针对性的配置才能达到最合适。

  • 相关阅读:
    JDK11 | 第七篇 : ZGC 垃圾收集器
    JDK11 | 第六篇 : Epsilon 垃圾收集器
    JDK11 | 第五篇 : 启动单个Java源代码文件的程序
    JDK11 | 第四篇 : 增强API
    JDK11 | 第三篇 : 局部变量类型推断
    JDK11 | 第二篇 : JShell 工具
    JDK11 | 第一篇 : JDK11 介绍
    客户端负载均衡Ribbon之源码解析
    DockerSwarm 微服务部署
    DockerSwarm 集群环境搭建
  • 原文地址:https://www.cnblogs.com/Q2880990290/p/7233787.html
Copyright © 2020-2023  润新知