• 关于1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers报错的问题解决 flink


    问题描述:

    昨天晚上都下班了,突然领导发消息实时数据没有了,我去什么鬼,我记得我走的时候数据还是正常启动的,怎么就没数据那,

    我们数据是通过flink 从kafka 消费数据,然后写入到hbase.怎么就没数据那什么情况。

    然后我去yarn的资源管理器上面查看运行情况 发现,程序挂掉了,什么情况。好好的怎么会挂掉。卧槽,我一看hdfs节点出现了不正常的机器unhealthy

    r然后报错信息就是1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers

    然后我通过yarn的命令查看集群的节点情况果不其然

    然后就找到这台机器,查看资源的使用情况 果然磁盘使用超过百分之90

    所以只能先把磁盘空间降下来,要不然程序都起不了,然后我就开始删除这台服务器上面的相关日志,删除完成之后好一点变为了百分之53 现在可以把程序部署上去,然后

    我就再看数据存在哪里把数据删一删,但是通过hbase的设置7天数据 但是本地磁盘并没有把内存降下来,最后发现 我的数据路径不在hdfs上面 我的数据在s3上,和hdfs有个毛关系

    最后通过hdfs的命令去查询发现好多日志存在hdfs上面开始删除日志。

     hdfs dfs -rmr /var/log/hadoop-yarn/apps/root/logs/*

    这里需要注意啊,我看好多人写的再本地有很多的subdir这样的文件占的磁盘空间特别多,这尼玛什么情况,

    /mnt/hdfs/current/BP-752382014-172.31.67.148-1579252180759/current/finalized/subdir0

    这里提一句啊,这里的这些数据是不能在本地删除的。他说你hdfs的元数据信息,你删除了系统就乱套了。

    所以正确的做法是 我在hdfs上面删除数据 对应的本地的这些文件夹下面的数据都会被删除。

    不要乱删文件 切记。

    文件删除 问题解决了

    这个时候的磁盘使用率下降。爽歪歪 hdfs的文件系统上磁盘也好了

    坑了 我一天找不到原因 ,看到别人写的那些操作步骤都不详细。真是蛋疼 都不知道咋搞。

  • 相关阅读:
    Solr服务在Linux上的搭建详细教程
    Linux服务器上安装JDK小白教程
    request和response中文乱码问题后台处理办法
    Redis的五种数据类型及方法
    Java类装载器ClassLoader
    Git快速入门和常用命令
    redis在Linux上的部署和jedis简单使用
    Linux常用基础命令
    JDK1.7中HashMap底层实现原理
    微信电脑版无法显示图片无法下载文件
  • 原文地址:https://www.cnblogs.com/gxgd/p/12938845.html
Copyright © 2020-2023  润新知