详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

一、Java环境搭建

（1）下载JDK并解压（当前操作系统为Ubuntu16.04，jdk版本为jdk-8u111-Linux-x64.tar.gz）

新建/usr/java目录，切换到jdk-8u111-linux-x64.tar.gz所在目录，将这个文件解压缩到/usr/java目录下。

tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/java/ 

（2）设置环境变量

修改.bashrc，在最后一行写入下列内容。

sudo vim ~/.bashrc 

export JAVA_HOME=/usr/java/jdk1.8.0_111 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$JAVA_HOME/bin:$PATH 

运行如下命令使环境变量生效。

source ~/.bashrc 

 打开profile文件，插入java环境配置节。

sudo vim /etc/profile 

export JAVA_HOME=/usr/java/jdk1.8.0_111 
export JAVA_BIN=$JAVA_HOME/bin 
export JAVA_LIB=$JAVA_HOME/lib 
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar 
export PATH=$JAVA_HOME/bin:$PATH 

打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。

sudo vim /etc/environment 

复制代码 代码如下:
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111" 
 

使配置生效

source /etc/environment 

验证java环境是否配置成功

java -version 

二、安装ssh-server并实现免密码登录

（1）下载ssh-server

sudo apt-get install openssh-server 

（2）启动ssh

sudo /etc/init.d/ssh start 

（3）查看ssh服务是否启动，如果有显示相关ssh字样则表示成功。

ps -ef|grep ssh 

（4）设置免密码登录

使用如下命令，一直回车，直到生成了rsa。

ssh-keygen -t rsa 

导入authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

 测试是否免密码登录localhost

ssh localhost 

关闭防火墙

ufw disable 

三、安装Hadoop单机模式和伪分布模式。

（1）下载hadoop-2.7.3.tar.gz，解压到/usr/local（单机模式搭建）。

sudo tar zxvf hadoop-2.7.3.tar.gz -C /usr/local 

 切换到/usr/local下，将hadoop-2.7.3重命名为hadoop，并给/usr/local/hadoop设置访问权限。

cd /usr/local 
sudo mv hadoop-2.7.3 hadoop 
sudo chmod 777 /usr/local/hadoop 

（2）配置.bashrc文件

sudo vim ~/.bashrc

（如果没有安装vim，请用 sudo apt install vim 安装。）

在文件末尾追加下面内容，然后保存。

#HADOOP VARIABLES START 
export JAVA_HOME=/usr/java/jdk1.8.0_111 
export HADOOP_INSTALL=/usr/local/hadoop 
export PATH=$PATH:$HADOOP_INSTALL/bin 
export PATH=$PATH:$HADOOP_INSTALL/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 
#HADOOP VARIABLES END 

执行下面命令，使添加的环境变量生效：

source ~/.bashrc 

（3）hadoop配置 (伪分布模式搭建)

配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

# The java implementation to use. 
export JAVA_HOME=/usr/java/jdk1.8.0_111 
export HADOOP=/usr/local/hadoop 
export PATH=$PATH:/usr/local/hadoop/bin 

 配置yarn-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh 

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ 
JAVA_HOME=/usr/java/jdk1.8.0_111 

配置core-site.xml，在home目录下创建 /home/lyh/hadoop_tmp目录，然后在core-site.xml中添加下列内容。

sudo mkdir /home/lyh/hadoop_tmp 

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml 

<configuration> 
    <!-- 指定HDFS老大（namenode）的通信地址 --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
    <!-- 指定hadoop运行时产生文件的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/home/lyh/hadoop_tmp</value> 
    </property> 
</configuration> 

配置hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 

<configuration> 
    <!-- 指定HDFS副本的数量 --> 
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration> 

配置yarn-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml 

<configuration> 
<!-- Site specific YARN configuration properties --> 
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration> 

（4）关机重启系统。

四、测试Hadoop是否安装并配置成功。

（1）验证Hadoop单机模式安装完成

hadoop version 

能够显示Hadoop的版本号即可说明单机模式已经配置完成。

（2）启动hdfs使用为分布模式。

格式化namenode

hdfs namenode -format 

有 "……has been successfully formatted" 等字样出现即说明格式化成功。注意：每次格式化都会生成一个namenode对应的ID，多次格式化之后，如果不改变datanode对应的ID号，运行wordcount向input中上传文件时会失败。

启动hdfs

start-all.sh 

显示进程

jps 

在浏览器中输入http://localhost:50070/，出现如下页面

输入 http://localhost:8088/，出现如下页面

则说明伪分布安装配置成功了。

停止hdfs

stop-all.sh 

五、运行wordcount

（1）启动hdfs。

start-all.sh 

（2）查看hdfs底下包含的文件目录

hadoop dfs -ls / 

如果是第一次运行hdfs，则什么都不会显示。

（3）在hdfs中创建一个文件目录input，将/usr/local/hadoop/README.txt上传至input中。

hdfs dfs -mkdir /input 
hadoop fs -put /usr/local/hadoop/README.txt /input 

（4）执行以下命令运行wordcount，并将结果输出到output中。

复制代码 代码如下:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output 

出现类似上图的页面说明wordcount运行成功。注意：请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。

（5）执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件，里面没有内容。 一个是 part-r-00000 ，通过以下命令查看执行的结果，如下图。

hadoop fs -cat /output/part-r-00000 

附：hdfs常用命令

hadoop fs -mkdir /tmp/input       在HDFS上新建文件夹 
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 
hadoop fs -ls /tmp/output         列出HDFS的某目录 
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录 
hadoop dfsadmin -report 查看HDFS状态，比如有哪些datanode，每个datanode的情况 
hadoop dfsadmin -safemode leave 离开安全模式 
hadoop dfsadmin -safemode enter 进入安全模式 

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# ubuntu配置hadoop2.7  # ubuntu  # 安装hadoop2.7  # hadoop  # 2.7.3  # Hadoop的安装与环境搭建教程图解  # linux环境不使用hadoop安装单机版spark的方法  # centos6.5 安装hadoop1.2.1的教程详解【亲测版】  # VMware虚拟机下hadoop1.x的安装方法  # 新手Hadoop安装 环境搭建  # 目录下  # 切换到  # 自己的  # 并将  # 如果没有  # 所示  # 请将  # 请用  # 重启  # 解压缩  # 拉到  # 命名为  # 创建一个  # 什么都不  # 图中  # 框中  # 大家多多  # 如下图  # 上图  # 不改变 

相关文章： 广州网站设计制作一条龙,广州巨网网络科技有限公司是干什么的？  制作销售网站教学视频,销售网站有哪些？  专业企业网站设计制作公司,如何理解商贸企业的统一配送和分销网络建设？  制作网站公司那家好,网络公司是做什么的？  一键网站制作软件,义乌购一件代发流程？  正规网站制作公司有哪些,目前国内哪家网页网站制作设计公司比较专业靠谱？口碑好？  香港服务器网站搭建教程-电商部署、配置优化与安全稳定指南  如何在IIS管理器中快速创建并配置网站？  浅谈Javascript中的Label语句  建站主机解析：虚拟主机配置与服务器选择指南  外贸公司网站制作哪家好,maersk船公司官网？  全景视频制作网站有哪些,全景图怎么做成网页？  如何在沈阳梯子盘古建站优化SEO排名与功能模块？  道歉网站制作流程,世纪佳缘致歉小吴事件，相亲网站身份信息伪造该如何稽查？  香港服务器租用费用高吗？如何避免常见误区？  网站按钮制作软件,如何实现网页中按钮的自动点击？  平台云上自主建站：模板化设计与智能工具打造高效网站  Android滚轮选择时间控件使用详解  建站主机与虚拟主机有何区别？如何选择最优方案？  ,有什么在线背英语单词效率比较高的网站？  如何通过老薛主机一键快速建站？  非常酷的网站设计制作软件,酷培ai教育官方网站？  如何用花生壳三步快速搭建专属网站？  ui设计制作网站有哪些,手机UI设计网址吗？  建站之星如何实现网站加密操作？  Python多线程使用规范_线程安全解析【教程】  山东网站制作公司有哪些,山东大源集团官网？  简历在线制作网站免费,免费下载个人简历的网站是哪些？  哈尔滨网站建设策划,哈尔滨电工证查询网站？  如何快速搭建安全的FTP站点？  如何高效配置IIS服务器搭建网站？  如何配置IIS站点权限与局域网访问？  网站制作的步骤包括,正确网址格式怎么写？  广东企业建站网站优化与SEO营销核心策略指南  如何在建站宝盒中设置产品搜索功能？  如何续费美橙建站之星域名及服务？  XML的“混合内容”是什么 怎么用DTD或XSD定义  如何快速搭建个人网站并优化SEO？  西安制作网站公司有哪些,西安货运司机用的最多的app或者网站是什么？  济南网站建设制作公司,室内设计网站一般都有哪些功能？  网站微信制作软件,如何制作微信链接？  网站企业制作流程,用什么语言做企业网站比较好？  宿州网站制作公司兴策,安徽省低保查询网站？  如何批量查询域名的建站时间记录？  个人摄影网站制作流程,摄影爱好者都去什么网站？  Bpmn 2.0的XML文件怎么画流程图  利用JavaScript实现拖拽改变元素大小  建站中国官网：模板定制+SEO优化+建站流程一站式指南  网站制作报价单模板图片,小松挖机官方网站报价？  如何在阿里云虚拟机上搭建网站？步骤解析与避坑指南