今天就是践行spark的安装了。
安装Spark：
进入Scala下载页面，下拉，找到tgz包
下载并解压：输入命令：tar zxf spark-2.4.0-bin-hadoop2.7.tgz
配置文件spark-env.sh
验证Spark是否安装成功。
grep 命令进行过滤。
下面是关于hdfs的命令：
上传文件
hdfs dfs -put src… dest (从本地的src位置上传到HDFS的dest位置,src可以有多个,空格隔开)
复制文件
hdfs dfs -copyFromLocal src… dest (复制文件,从src位置复制到dest 位置,src可以有多个,空格隔开)
移动文件(剪切)
hdfs dfs -moveFromLocal src… dest (移动文件,从src移动到dest位置)
创建新目录
hdfs dfs -mkdir /test
hdfs dfs -mkdir -p /test/luo (级联创建)
往文件中追加信息
hdfs dfs -appendToFile cba /test/t1 (把cba的内容追加到/test文件夹下的t1文件中)
查看文件内容
hdfs dfs -cat /test/t1 (查看/test文件夹下的t1文件)
更改文件的属组
hdfs dfs -chgrp nb /test/t1 (把t1 文件的属组改为nb)
hdfs dfs -R -chgrp nb /test/t1 (递归修改)
更改文件的权限
hdfs dfs -chmod -R 777 /luo (/luo的权限改为777)
更改文件的属主及属组
hdfs dfs -chown -R luo:zzz /luo
将HDFS上的文件复制到本地
hdfs dfs -copyToLocal /t1 ./
查看文件系统的磁盘空间
hdfs dfs -df -h /