win10部署spark和jupyter
一. JAVA8安装: 1. 安装步骤(略) 2. 验证: java -version ? 二. Python3.6安装: 1. 安装步骤(略) 2. 验证: python --version pip3 --version ? 三. scala安装: 1. 安装步骤: 下载地址:https://www.scala-lang.org/download/ 下载scala-2.13.1.msi版本,点击安装 注意:scala的安装目录不能有空格,所以不能安装到默认的 program profile 目录下。 2. 验证: scala -version ? 四. spark安装: 1. 安装步骤: 下载地址:https://spark.apache.org/downloads.html 2. 配置环境变量: 配置SPARK_HOME 添加path:%SPARK_HOME%/bin;%SPARK_HOME%/sbin; 3. 验证: pyspark (会报winutils错误) ? 五. hadoop配置(不配置会报winutils错误) 1.? 配置步骤: 建一个{path}/hadoop/bin目录 下载地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip 将文件内容拷贝到{path}/hadoop/bin中。 2. 配置环境变量: 配置HADOOP_HOME 添加path:%HADOOP_HOME%/bin 3. 验证: pyspark (不会报错) ? 六. 安装jupyter: 安装步骤: pip3 install jupyter 启动: jupyter notebook (编辑:ASP站长网) |