最近在玩spark , 需要看一下python的spark lib 是怎么加入环境变量的。
执行:
sh -x bin/pyspark
报错
+ dirname bin/pyspark
+ cd bin/..
+ pwd
+ FWDIR=/usr/local/spark-0.9.1-bin-hadoop1
+ export SPARK_HOME=/usr/local/spark-0.9.1-bin-hadoop1
+ SCALA_VERSION=2.10
+ [ ! -f /usr/local/spark-0.9.1-bin-hadoop1/RELEASE ]
bin/pyspark: 38: bin/pyspark: Syntax error: Bad fd number
上网查找了一下,发现是shell 的环境出的问题。
查看执行脚本时使用了什么shell
ll `which sh`
发现使用的是
/bin/sh -> dash
而pyspark脚本使用的是:/usr/bin/env bash
解决方法:
/bin/bash bin/pyspark
一劳永逸的解决方法(将sh直接改了,直接指向/bin/bash):
rm -f /bin/sh;
ln -sf /bin/bash /bin/sh