• win10部署spark和jupyter


    一. JAVA8安装:

    1. 安装步骤(略)

    2. 验证:

    java -version

    二. Python3.6安装:

    1. 安装步骤(略)

    2. 验证:

    python --version

    pip3 --version

    三. scala安装:

    1. 安装步骤:

    下载地址:https://www.scala-lang.org/download/

    下载scala-2.13.1.msi版本,点击安装

    注意:scala的安装目录不能有空格,所以不能安装到默认的 program profile 目录下。

    2. 验证:

    scala -version

    四. spark安装:

    1. 安装步骤:

    下载地址:https://spark.apache.org/downloads.html

    2. 配置环境变量:

    配置SPARK_HOME

    添加path:%SPARK_HOME%in;%SPARK_HOME%sbin;

    3. 验证:

    pyspark

    (会报winutils错误)

    五. hadoop配置(不配置会报winutils错误)

    1.  配置步骤:

    建一个{path}hadoopin目录

    下载地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

    将文件内容拷贝到{path}hadoopin中。

    2. 配置环境变量:

    配置HADOOP_HOME

    添加path:%HADOOP_HOME%in

    3. 验证:

    pyspark

    (不会报错)

    六. 安装jupyter:

    安装步骤:

    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter

    启动:

    jupyter notebook --ip 0.0.0.0

    以下为远程访问方式:

    获取带token的链接:
    jupyter notebook list

    复制链接,将0.0.0.0替换为实际ip,到浏览器登陆。

    七. 其他包:

    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark

    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn

    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib

  • 相关阅读:
    C# Enum,Int,String的互相转换
    彻底弄懂css中单位px和em,rem的区别
    HTML特殊字符大全2
    网页特殊符号HTML代码大全
    HTML特殊字符大全
    收集一些特殊的符号
    jQuery 获取屏幕高度、宽度
    HTMLParser 使用详解
    C# 操作Word知识汇总
    C#编程总结(一)序列化
  • 原文地址:https://www.cnblogs.com/wubdut/p/11552059.html
Copyright © 2020-2023  润新知