Linux中安装配置hadoop集群详细步骤

一. 简介

参考了网上许多教程，最终把hadoop在ubuntu14.04中安装配置成功。下面就把详细的安装步骤叙述一下。我所使用的环境：两台ubuntu 14.04 64位的台式机，hadoop选择2.7.1版本。（前边主要介绍单机版的配置，集群版是在单机版的基础上，主要是配置文件有所不同，后边会有详细说明）

二. 准备工作

2.1 创建用户

创建用户，并为其添加root权限，经过亲自验证下面这种方法比较好。

 sudo adduser hadoop
 sudo vim /etc/sudoers
 # 修改内容如下：
 root ALL = (ALL)ALL
hadoop ALL = (ALL)ALL

给hadoop用户创建目录，并添加到sudo用户组中，命令如下：

 sudo chown hadoop /home/hadoop
 # 添加到sudo用户组
 sudo adduser hadoop sudo

最后注销当前用户，使用新创建的hadoop用户登陆。

2.2 安装ssh服务

ubuntu中默认是没有装ssh server的（只有ssh client），所以先运行以下命令安装openssh-server。安装过程轻松加愉快～

sudo apt-get install ssh openssh-server

2.3 配置ssh无密码登陆

直接上代码：执行完下边的代码就可以直接登陆了（可以运行ssh localhost进行验证）

cd ~/.ssh　　# 如果找不到这个文件夹，先执行一下 "ssh localhost"
 ssh-keygen -t rsa
 cp id_rsa.pub authorized_keys

注意：

这里实现的是无密登陆自己，只适用与hadoop单机环境。如果配置Hadoop集群设置Master与Slave的SSH无密登陆可以参考我的另一篇博文：https://www./article/105483.htm

 三. 安装过程

3.1 下载hadoop安装包

有两种下载方式：

1. 直接去官网下载：

http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

2. 使用wget命令下载：

复制代码 代码如下:
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

3.2 配置hadoop

1. 解压下载的hadoop安装包，并修改配置文件。我的解压目录是（/home/hadoop/hadoop-2.7.1），即进入/home/hadoop/文件夹下执行下面的解压缩命令。

tar -zxvf hadoop-2.7.1.tar.gz

2. 修改配置文件：（hadoop2.7.1/etc/hadoop/）目录下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml。

(1). core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

(2). mapred-site.xml.template配置:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

注意：如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop-env.sh里面，具体如下：

export JAVA_HOME="/opt/java_file/jdk1.7.0_79"，即安装java时的路径。

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

</property>

</configuration>

配置完成后运行hadoop。

四. 运行hadoop

4.1 初始化HDFS系统

在hadop2.7.1目录下执行命令：

bin/hdfs namenode -format

出现如下结果说明初始化成功。

4.2 开启 NameNode 和 DataNode 守护进程

在hadop2.7.1目录下执行命令：

sbin/start-dfs.sh

成功的截图如下：

4.3 使用jps命令查看进程信息：

若出现如图所示结果，则说明DataNode和NameNode都已经开启。

4.4 查看web界面

在浏览器中输入 http://localhost:50070 ，即可查看相关信息，截图如下

至此，hadoop的环境就已经搭建好了。

 五. 运行wordcount demo

1.  在本地新建一个文件，里面内容随便填：例如我在home/hadoop目录下新建了一个haha.txt文件，里面的内容为" hello world! "。

2. 然后在分布式文件系统（hdfs）中新建一个test文件夹，用于上传我们的测试文件haha.txt。在hadoop-2.7.1目录下运行命令：

# 在hdfs的根目录下建立了一个test目录
bin/hdfs dfs -mkdir /test

# 查看HDFS根目录下的目录结构
bin/hdfs dfs -ls /

结果如下：

3. 将本地haha.txt文件上传到test目录中；

# 上传
bin/hdfs dfs -put /home/hadoop/haha.txt /test/
# 查看
bin/hdfs dfs -ls /test/

结果如下：

4. 运行wordcount demo；

# 将运行结果保存在/test/out目录下
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/haha.txt /test/out
# 查看/test/out目录下的文件
bin/hdfs dfs -ls /test/out

结果如下：

运行结果表示：运行成功，结果保存在part-r-00000中。

5. 查看运行结果；

# 查看part-r-00000中的运行结果
bin/hadoop fs -cat /test/out/part-r-00000

结果如下：

至此，wordcount demo 运行结束。

六. 总结

配置过程遇到了很多问题，最后都一一解决，收获很多，特此把这次配置的经验分享出来，方便想要配置hadoop环境的各位朋友～

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# linux  # hadoop安装配置  # 搭建hadoop集群  # hadoop集群配置  # Linux下安装Hadoop集群详细步骤  # Linux下Hadoop 2.7.3 安装搭建过程  # hadoop基于Linux7的安装配置图文详解  # linux环境不使用hadoop安装单机版spark的方法  # Linux中Centos7搭建Hadoop服务步骤  # linux下搭建hadoop环境步骤分享  # linux系统安装hadoop真分布式集群详解  # 目录下  # 配置文件  # 找不到  # 单机版  # 新建一个  # 自己的  # 安装过程  # 的是  # 安装包  # 上传  # 是在  # 会有  # 我在  # 好了  # 基础上  # 有所不同  # 就把  # 详细说明  # 比较好  # 相关信息 

相关文章： 北京建设网站制作公司,北京古代建筑博物馆预约官网？  制作网站哪家好,cc、.co、.cm哪个域名更适合做网站？  网站制作培训多少钱一个月,网站优化seo培训课程有哪些？  如何快速搭建响应式可视化网站？  网站建设制作、微信公众号,公明人民医院怎么在网上预约？  专业网站制作服务公司,有哪些网站可以免费发布招聘信息？  Python多线程使用规范_线程安全解析【教程】  小型网站制作HTML,*游戏网站怎么搭建？  广州网站制作的公司,现在专门做网站的公司有没有哪几家是比较好的，性价比高，模板也多的？  网站制作专业公司有哪些,如何制作一个企业网站，建设网站的基本步骤有哪些？  如何设计高效校园网站？  如何通过万网虚拟主机快速搭建网站？  ,巨量百应是干嘛的？  建站之星如何一键生成手机站？  盐城做公司网站,江苏电子版退休证办理流程？  惠州网站建设制作推广,惠州市华视达文化传媒有限公司怎么样？  如何实现建站之星域名转发设置？  建站主机与服务器功能差异如何区分？  实例解析angularjs的filter过滤器  建站之星五站合一营销型网站搭建攻略，流量入口全覆盖优化指南  北京网页设计制作网站有哪些,继续教育自动播放怎么设置？  高端网站建设与定制开发一站式解决方案 中企动力  如何通过二级域名建站提升品牌影响力？  香港网站服务器数量如何影响SEO优化效果？  常州自助建站费用包含哪些项目？  电商网站制作公司有哪些,1688网是什么意思？  行程制作网站有哪些,第三方机票电子行程单怎么开？  如何用搬瓦工VPS快速搭建个人网站？  山东网站制作公司有哪些,山东大源集团官网？  建站之星上传入口如何快速找到？  建站之星如何修改网站生成路径？  如何配置支付宝与微信支付功能？  制作充值网站的软件,做人力招聘为什么要自己交端口钱？  javascript中的try catch异常捕获机制用法分析  网站制作公司哪里好做,成都网站制作公司哪家做得比较好，更正规？  寿县云建站：智能SEO优化与多行业模板快速上线指南  网站制作怎么样才能赚钱,用自己的电脑做服务器架设网站有什么利弊，能赚钱吗？  制作网站公司那家好,网络公司是做什么的？  如何快速启动建站代理加盟业务？  如何快速生成高效建站系统源代码？  小建面朝正北，A点实际方位是否存在偏差？  清除minerd进程的简单方法  如何高效利用亚马逊云主机搭建企业网站？  股票网站制作软件,网上股票怎么开户？  如何高效搭建专业期货交易平台网站？  专业商城网站制作公司有哪些,pi商城官网是哪个？  定制建站流程步骤详解：一站式方案设计与开发指南  c# 在ASP.NET Core中管理和取消后台任务  如何快速查询网站的真实建站时间？  制作网站建设的公司有哪些,网站建设比较好的公司都有哪些？