大数据安装前期环境准备：JAVA安装，PYTHON安装，SCALA安装

大数据安装前期环境准备：JAVA安装，PYTHON安装，SCALA安装

配置阿里yum源

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum repolist

JAVA安装

安装：

1、在线下载JDK

命令：

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" -qa | grep java # 查询已安装的java yum remove java*

3、添加执行权限

命令：

chmod +x jdk-8u131-linux-x64.rpm

4、执行rpm进行安装

命令：

rpm -ivh jdk-8u131-linux-x64.rpm

5、查看JDK是否安装成功

命令：

java -version

6、查看JDK的安装路径，（一般默认的路径：/usr/java/jdk1.8.0_131）

配置：

1、编辑环境变量

export JAVA_HOME=/usr/java/jdk1.8.0_131 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin export PATH=$PATH:${JAVA_PATH}

2、编辑 /etc/profile

命令：

vim /etc/profile

3、进行环境配置

命令：i 进入编辑模式

4、把（步骤1）编辑好的粘贴

输入命令： ：wq!

5、强制保存并退出

让profile立即生效：

source /etc/profile

查看JDK安装情况：

1、使用javac命令，不会出现command not found

2、命令：

java -version

3、查看自己刚刚设置的环境变量配置是否都正确

命令：

echo $PATH

Hadoop 单机搭建 Scala安装

下载地址：https://scala-lang.org/download/ Scala版本：scala-2.11.8.tgz

1、下载安装

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz tar -xvf scala-2.11.8.tgz -C /opt/modules/

2、配置环境变量

修改

vi /etc/profile

添加

export SCALA_HOME=/opt/modules/scala-2.13.1 export PATH=$PATH:$SCALA_HOME/bin

更新

source /etc/profile

3、测试

[root@master ~]# scala -version Scala code runner version 2.11.8 -- Copyright 2002-2016, LAMP/EPFL [root@master ~]#

使用方法

https://runoob.com/scala/scala-install.html

Linux下安装Python3.6和第三方库

如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境， 比如yum！！！！！ 不要动现有的python2环境！

安装python3.6

1. 安装依赖环境

# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

2.下载Python3

https://python.org/downloads/ # wget mkdir -p /usr/local/python3 　　解压下载好的Python-3.x.x.tgz包(具体包名因你下载的Python具体版本不不同⽽而不不同，如：我下载的是Python3.6.1.那我这里就是Python-3.6.1.tgz) # tar -zxvf Python-3.6.1.tgz

###4.进入解压后的目录，编译安装。

# cd Python-3.6.1 # ./configure --prefix=/usr/local/python3 进行　make # make 进行make install make install 或者 make && make install

5.建立python3的软链

# ln -s /usr/local/python3/bin/python3 /usr/bin/python3

6.并将/usr/local/python3/bin加入PATH

# vim ~/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin:/usr/local/python3/bin export PATH 　　按ESC，输入:wq回车退出。 　　修改完记得执行行下面的命令，让上一步的修改生效： # source ~/.bash_profile 　　检查Python3及pip3是否正常可用： # python3 -V Python 3.6.1 # pip3 -V pip 9.0.1 from /usr/local/python3/lib/python3.6/site-packages (python 3.6)

7.不行的话在创建一下pip3的软链接(我也不清楚这一步有什么用)

# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

安装pip以及setuptools

毕竟丰富的第三方库是python的优势所在，为了更加方便的安装第三方库，使用pip命令，我们需要进行相应的安装。

1、安装pip前需要前置安装setuptools

命令如下：

wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26 tar -zxvf setuptools-19.6.tar.gz cd setuptools-19.6 python3 setup.py build python3 setup.py install

注意：

如果前面没布置好环境的话，就要苦逼一下了： 　　报错： RuntimeError: Compression requires the (missing) zlib module 　　我们需要在linux中安装zlib-devel包，进行支持。 　　yum install zlib-devel 　　需要对python3.5进行重新编译安装。 　　cd python3.6.1 　　make && make install 　　又是漫长的编译安装过程。 　　重新安装setuptools 　　python3 setup.py build 　　python3 setup.py install

2、安装pip

命令如下：

wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb tar -zxvf pip-8.0.2.tar.gz cd pip-8.0.2 python3 setup.py build python3 setup.py install 如果没有意外的话，pip安装完成。

注意：如果没有搞好环境的话，会碰见亲切的报错：

pip3 install paramiko

报这个错

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.

然后开始进行如下操作

yum install openssl 　　yum install openssl-devel 　　cd python3.6.1 　　make && make install

配置maven

wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz tar zxf apache-maven-3.1.1-bin.tar.gz mv apache-maven-3.1.1 /usr/local/maven3 配置/etc/profile export M2_HOME=/usr/local/maven3 export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin

验证安装是否成功

[root@hadoop01 maven3]# mvn -v Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f) Maven home: /usr/local/maven3 Java version: 1.8.0_131, vendor: Oracle Corporation, runtime: /usr/java/jdk1.8.0_131/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "3.10.0-1127.el7.x86_64", arch: "amd64", family: "unix"

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。