Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark当下已成为Apache基金会的顶级开源项目,拥有着庞大的社区支持(活跃开发者人数已超过Hadoop MapReduce),技术也逐渐走向成熟。
sacal环境变量配置: http://spark.apache.org/ 下载版本2.11.7 安装后配置环境变量 如图:
http://scala-ide.org/ 4.1.0版本 下载完成以后解压出来,features和plugins内容放到eclipse对应的文件夹里面,然后充气eclipse就可以看到scala了。可以创建scala工程、类包、类。
新建系统变量
。
用户变量后面添加:系统变量路径到bin文件夹
环境变量配置完成以后我们可以在控制台操作了,如下图: 我们同时可以看到安装的java JDK版本
环境变量配置完成以后我们可以操作了,例如我们打印一个hello scala 和 加法运算 如下图: