• 配置集群遇到的问题


    关于Hadoop配置项的一点说明 
    尽管仅仅须要配置 fs.defaultFS 和 dfs.replication 就能够执行(官方教程如此)。只是若没有配置 hadoop.tmp.dir 參数,则默认使用的暂时文件夹为 /tmp/hadoo-hadoop,而这个文件夹在重新启动时有可能被系统清理掉,导致必须又一次执行 format 才行。所以我们进行了设置。同一时候也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

    使用 netstat -anop  找到被占用的接口

    netstat -ano     //显式网络情况

                            //-a : 所有socket

                            //-n : 显式数字地址

                           //-p : pid

                           //-o : timer

    50070 namenode  http

    50075 datanode    http

    50090 secondarynamenode  http

    50010 datanode  rpc port

    8020 namenode rpc port

    kill -9  xxxx 【用-9 最高权限终结进程

    kill -9  xxxx


    问题:先看这四个文件配置-->

    1:resolv.conf

    2:hosts

    3:hostname

    4:sysconfig/network-scripts/ifcfg-ens33

    只有一个JPS进程 

    1:没有格式化 Hadoop namenode-format

    2:四个 .xml文件的配置

    3:主机名不要使用符号【字母加数字】


    没进程缺失但web页面打不开

    物理机与虚拟机之间网路不通 【不能互相ping】

    是否有VM1 ,VM8网络适配器--->使用VMware清理工具,卸载清理再安装


    只有百度ping不通

    resolv.conf 是否配置nameserver 若配置 --->在resolv.conf添加Google公共DNS

    nameserver 8.8.8.8

    nameserver 114.114.114.114


    复制他人的镜像

    查看自己的VM8的ip端范围,网关(DNS)

    配置hostshostname

    resolv.conf

    sysconfig/network-scripts/ifcfg-ens33【如果有多个ifcfg开头的都删掉


    centos用户远程连接需要输入密码---->【权限问题】

    centos 用户下:

    1、~/.ssh/authorized_keys的授权文件权限

    chmod 644 authorized_keys

    2、~/.ssh 文件夹的权限

    chmod 700 .ssh

    root用户下:

    只要不让别人写数据,就可以

     


    SecondaryNamenode 无法启动

    在日志中查看错误:

    ------------Hadoop中的权限问题

    chown centos:centos

    chmod ug+rwx

    正常情况:

    回首间---我错过了那片星海
  • 相关阅读:
    eclipse集成testng插件(离线安装方式+ 在线安装方式)
    javaw.exe in your current path的解决方法
    Java单元测试工具:JUnit4(四)——JUnit测试套件使用及参数化设置
    Java单元测试工具:JUnit4(三)——JUnit详解之运行流程及常用注解
    Java单元测试工具:JUnit4(二)——JUnit使用详解
    Java单元测试工具:JUnit4(一)——概述及简单例子
    MINA框架使用
    UDP/IP + NIO实现系统间通信
    UDP/IP+BIO/NIO/多播
    java分布式开发TCP/IP NIO无阻塞 Socket((基于消息方式实现系统间的通信) )
  • 原文地址:https://www.cnblogs.com/Vowzhou/p/10144769.html
Copyright © 2020-2023  润新知