大数据学习笔记-------------------(3)

网友投稿 272 2022-11-17

大数据学习笔记-------------------(3)

第3章 Spark安装

Spark是Hadoop的子项目。因此，Spark最好安装在Linux系统。安装步骤如下：

Step 1：验证Java安装

安装Spark之前必选安装Java。在命令行输入命令：java -version 。如果系统已经安装Java，将显示如下信息：


        java version "1.7.0_71"

       Java(TM) SE Runtime Environment (build 1.7.0_71-b13)

       Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)


以防万一系统没有安装Java，在执行下一步之前要安装Java。

Step 2：验证Scala安装

用Scala语言来实现Spark。所以要在命令行输入命令：scala -version 。验证系统是否安装Scala。如果已经安装，系统将给出如下提示信息：


Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL


以防万一系统没有安装Scala，下一步是Scala的安装。

Step 3：下载Scala

下载最新版本的Scala请访问：​​压缩文件。

Step 4：安装Scala

按照下面步骤安装Scala

Step 4_1:解压Scala压缩文件

进入到Scala压缩文件路径下，执行命令：tar xvf scala-2.11.6.tgz

Step 4_2:移动scala软件文件

用如下命令，把Scala软件文件夹移动到指定路径下（/usr/local/scala）


$ su –

Password:

# cd /home/Hadoop/Downloads/

# mv scala-2.11.6 /usr/local/scala

# exit


Step 4_3:设置Scala的 PATH

在命令行输入命令，为Scala设置PATH:


export PATH = $PATH:/usr/local/scala/bin


Step 4_4：验证Scala安装

在命令行输入命令：scala -version 。验证系统是否安装Scala。如果已经安装，系统将给出如下提示信息：


Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL


Step 5：下载Apache Spark

下载最新版本的Spark，请访问：​​6:安装Spark

按照下面的步骤，安装Spark

Step 6_1:解压Spark压缩文件

进入到Scala压缩文件路径下，执行命令：tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Step 6_2:移动Spark软件文件

用如下命令，把Spark软件文件夹移动到指定路径下（/usr/local/spark）


$ su –

Password:

# cd /home/Hadoop/Downloads/

# mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark

# exit


Step 6_3:为Spark设置环境变量

在把下面命令添加的~/.bashrc文件中:


export PATH = $PATH:/usr/local/spark/bin


添加完毕，在命令行输入：source ~/.bashrc

Step 7:验证Spark的安装

在命令行输入：spark-shell，如果安装成功，系统将给出如下提示信息


Spark assembly has been built with Hive, including Datanucleus jars on classpath

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop

15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)

15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server

15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.

Welcome to

____ __

/ __/__ ___ _____/ /__

_\ \/ _ \/ _ `/ __/ '_/

/___/ .__/\_,_/_/ /_/\_\ version 1.4.0

/_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)

Type in expressions to have them evaluated.

Spark context available as sc

scala>


版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。

标签：数据 java 系统 软件 文件
上一篇:紫光同创PGL22G开发平台试用活动
下一篇:大数据学习笔记-------------------(5)
相关文章

 发表评论

暂时没有评论，来抢沙发吧~