今天进行了Spark的安装。
1.1 下载安装包
进入Scala下载页面，下拉，找到tgz包
右击，复制链接如下
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
在master的命令行中输入：
wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
2 安装Spark
2.1 下载安装包
复制结果如下：http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
输入命令：wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz
2.2 解压
输入命令：tar zxf spark-2.4.0-bin-hadoop2.7.tgz
2.3 迁移目录
输入命令：sudo mv spark-2.4.0-bin-hadoop2.7 /usr/local/spark/
2.4 配置环境变量
输入命令：sudo gedit ~/.bashrc
添加如下配置
使配置生效，输入命令：source ~/.bashrc
3.1HDFS常用操作
上传文件
hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)
复制文件
hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)
移动文件(剪切)
hdfs dfs -moveFromLocal src… dest (移动文件,从src移动到dest位置)
创建新目录
hdfs dfs -mkdir /test
hdfs dfs -mkdir -p /test/luo (级联创建)
往文件中追加信息
hdfs dfs -appendToFile cba /test/t1 (把cba的内容追加到/test文件夹下的t1文件中)
查看文件内容
hdfs dfs -cat /test/t1 (查看/test文件夹下的t1文件)
更改文件的属组
hdfs dfs -chgrp nb /test/t1 (把t1 文件的属组改为nb)
hdfs dfs -R -chgrp nb /test/t1 (递归修改)
更改文件的权限
hdfs dfs -chmod -R 777 /luo (/luo的权限改为777)
更改文件的属主及属组
hdfs dfs -chown -R luo:zzz /luo
将HDFS上的文件复制到本地
hdfs dfs -copyToLocal /t1 ./
查看文件系统的磁盘空间
hdfs dfs -df -h /