目的:运行Atlas并使用Azkaban执行操作任务
环境:Centos 6 内存大小:12G 启动下面的任务后还剩内存将近5G
问题: 当mysql_to_hdfs_db和其他job同时运行时集群很容易就会报错
Cannot create GC thread. Out of system resources.
OOM等奇怪的错误。
为什么明明还有内存,还报OOM?
最重要的是极端情况下会报错:-bash: fork: retry: 资源暂时不可用
原因:修改前非root用户max user processes 只有1024,导致此用户无法申请到更多的线程。
解决方案:
sudo vim /etc/security/limits.d/90-nproc.conf ,将nproc修改为65535并重新启动计算机
启动的任务:1. hadoop 集群
2. Zookeeper
3. Kafka
4. Hbase
5. Solr
6. Hive
7. Azkaban
8. Atals
mysql_to_hdfs_db使用sqoop想HDSF中导数据,占用资源比较多。