• Atlas运行时资源不足报错 -bash: fork: retry: 资源暂时不可用 Out of system resources


    目的:运行Atlas并使用Azkaban执行操作任务

    环境:Centos 6 内存大小:12G 启动下面的任务后还剩内存将近5G

    问题: 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错

      Cannot create GC thread. Out of system resources. 

      OOM等奇怪的错误。

      为什么明明还有内存,还报OOM?

      最重要的是极端情况下会报错:-bash: fork: retry: 资源暂时不可用

    原因:修改前非root用户max user processes 只有1024,导致此用户无法申请到更多的线程。

    解决方案:

      sudo vim /etc/security/limits.d/90-nproc.conf  ,将nproc修改为65535并重新启动计算机

       

    启动的任务:1. hadoop 集群

           2. Zookeeper

           3. Kafka

           4. Hbase

           5. Solr

           6. Hive

           7. Azkaban

           8. Atals 

     mysql_to_hdfs_db使用sqoop想HDSF中导数据,占用资源比较多。

  • 相关阅读:
    DTDebug的使用
    金字塔原理
    C/C++ 加快项目编译速度
    C/C++ C++11 enum class
    微信公众平台 第三方平台
    Protobuf根据.proto文件在运行期生成message
    工具 Bazel
    计算机网络 OAuth
    计算机网络 WebSocket
    C/C++ 函数默认参数
  • 原文地址:https://www.cnblogs.com/mskf-bolgs/p/12716105.html
Copyright © 2020-2023  润新知