• hadoop 又一次环境搭建


    【配置hadoop环境】

    1 安装linux;
        环境:
            虚拟机:VB ;
            镜像:IOS ;
    2 安装hadoop;
        执行:
            1 安装SSH、配置SSH无密码登陆
                * 用于管理集群;集群建传输数据;
                * 在shell下使用ssh远程登录一台Linux主机;
                
            2 (Java环境) - 安装JDK;
                * win上传文件
                * 解压文件;
                * 卸载原来的jdk;
            3 安装hadoop;
        
        【坑】
            [1] 无法直接将windows文件复制到virtual box中的linux系统上;
               
                解决 方式1:
                    安装 xshell;访问远端不同系统下的服务器;
                    通过xshell 链接 虚拟机;实现 win+linux 间上传,下载文件
                
                    * xshell使用:
                            前提:尝试win ping linux - 查看两个系统是否能相互链接起来;    
                    
                        [坑]:xshell无法链接虚拟机中的linux系统;
                            
                            原因:
                                本机的win 与 虚拟机的linux  ping不同 ;
                                虚拟机vb的linux 能ping同 本机的win ;
                            解决:    
                                将virtual box的网络链接方式 设为:桥接模式;
                                参:https://www.cnblogs.com/wanghui-garcia/p/10213502.html
                
                解决 方式2:
                    安装xftp ;传文件到 虚拟机的linux;
            
                

            [2]    安装hadoop:执行 hdfs namenode -format ; Exitting with status 1 出错 ;
                
                分析:查看错误的内容;分析错误原因:
                      发现 - ERROR :Failed to start namenode,can‘t create directory .....(一个路径)
                      分析:没有权限创建目录;
                解决:
                    添加权限:找到之前没操作的 命令:sudo chown -R 用户名 ./hadoop(hadoop所在目录下)

        
    参:http://dblab.xmu.edu.cn/blog/install-hadoop/
        
      

    【案例分析】

    1 命令行编程

    2 编译器编程
         *下载编译器;eclipse ;注:ubuntu下设置eclipse图标;
         * eclipse配置hadoop插件
                # 可能会有的问题:缺少依赖 jar 包 ;
                
         * 编程;

    ...................................................
  • 相关阅读:
    初识增长黑客Growth Hacker
    OpenCV学习目录(持续更新)
    leetcode算法-回文判断
    leetcode算法-整数反转
    日常撸题技巧【总结】
    hihocoder 题目类型整理
    【hiho】92-93--素数【数论】
    notepad打造成C/C++IDE【Notepad】
    ACM知识点总结【杂】
    Nastya Studies Informatics
  • 原文地址:https://www.cnblogs.com/floakss/p/11462939.html
Copyright © 2020-2023  润新知