• hadoop更换硬盘


    hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin    日志位置:/var/log/hadoop)
    1.登陆服务器,切换到mapred用户,执行jps命令,查看是否有TaskTracker进程。如果有,执行hadoop-daemon.sh stop tasktracker,停止TaskTracker进程。
    2.切换到hdfs用户,执行jps命令,查看是否有DataNode进程。如果有,执行hadoop-daemon.sh stop datanode,停止DataNode进程。
    3.卸载硬盘umount /dataX.

    4.格式化新硬盘成ext4格式(分区/fdisk或者parted格式化)

    fdisk -l /dev/sdX

    n

    p

    默然选择1分区.其他的都保持默认

    最后w,保存

    格式化为ext4: mkfs.ext4 /dev/sdX1

    挂载:mount /dev/sdX1 /dataX

    然后blkid /dev/sdX1  把获取到的UUID替换对应的坏掉的硬盘的UUID,位置(/etc/fstab)

    5.创建DataNode,TaskTracker使用目录。mkdir -p /dataX/dfs; mkdir -p /dataX/mapred;   mkdir -p /dataX/tmp;  (或者直接cd /dataX; mkdir {dfs,mapred,tmp} )
    6.为DataNode,TaskTracker使用目录赋予正确权限(mapreduce运行程序的用户为mapred)。chown -R hdfs:hadoop /dataX/dfs;chown -R mapred:hadoop /dataX/mapred ;chown -R mapred:hadoop /dataX/tmp ;chown hdfs:hadoop /dataX
    7.切换到hdfs用户,执行hadoop-daemon.sh start datanode,启动DataNode进程。
    8.切换到mapred用户,执行hadoop-daemon.sh start tasktracker,启动TaskTracker进程。
    9.查看启动日志,观察一段时间判断服务是否正常。

  • 相关阅读:
    配置文件和脚本文件区别
    .sh
    瘋耔思维空间
    vi编辑器的三种模式
    在ubuntu系统荣品开发配套JDK安装
    如何查看自己运行ubuntu是32位还是64位
    志气
    高仿微信朋友圈
    Java OCR tesseract 图像智能字符识别技术 Java代码实现
    构建基于Javascript的移动CMS——加入滑动
  • 原文地址:https://www.cnblogs.com/dailidong/p/7571210.html
Copyright © 2020-2023  润新知