由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建
一台虚拟机,配置信息如下:
内存:1G,cpu:一个core,硬盘:15G
1、修改下主机名为master
sudo vi /etc/sysconfig/network
修改结果后:
重启电脑后再查看结果:
修改主机名成功
2、修改hosts中的主机名:
修改后:
3、配置SSH
进入.ssh目录并生成authorized_keys文件:
授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644):
ssh验证:
4、hadoop安装:
去官网下载hadoop最新安装包:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
下载并解压后:
修改系统配置文件,修改~/.bash_profile文件,增加HADOPP_HOME的bin文件夹到PATH中,修改后使用source命令使配置文件生效:
在hadoop目录下创建文件夹:
接下来开始修改hadoop的配置文件,首先进入hadoop2.6配置文件夹:
第一步修改配置文件hadoop-env.sh,加入"JAVA-HOME",如下所示:
指定我们安装的“JAVA_HOME”:
第二步修改配置文件"yarn-env.sh",加入"JAVA_HOME",如下所示:
指定我们安装的“JAVA_HOME”:
第三步 修改配置文件“mapred-env.sh”,加入“JAVA_HOME”,如下所示:
指定我们安装的“JAVA_HOME”:
第四步 修改配置文件slaves,如下所示:
设置从节点为master,因为我们是伪分布式,如下所示:
第五步 修改配置文件core-site.xml,如下所示:
修改core-site.xml文件后:
目前来说,core-site.xml文件的最小化配置,core-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml
第六步 修改配置文件 hdfs-site.xml,如下所示:
hdfs-site.xml文件修改后:
上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
第七步 修改配置文件 mapred-site.xml,如下所示:
copy mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml,如下所示:
mapred-site.xml 修改后:
上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
第八步 配置文件yarn-site.xml,如下所示:
yarn-site.xml修改后:
上述内容是yarn-site.xml的最小化配置,yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
5、启动并验证hadoop伪分布式
第一步:格式化hdfs文件系统:
第二步:进入sbin中启动hdfs,执行如下命令:
此刻我们发现在master上启动了NameNode、DataNode、SecondaryNameNode
此刻通过web控制台查看hdfs,http://master:50070/
点击“Live Nodes”,查看一下其信息:
第三步:启动yarn
使用jps命令可以发现master机器启动了ResourceManager进程
PS:我们上传一个文件到hdfs吧:
hadoop web控制台页面的端口整理:
50070:hdfs文件管理
8088:ResourceManager
8042:NodeManager
19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)
相关推荐
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
linux:centos6.5 hadoop版本:2.6.0 集群方式:伪分布式 已经通过 内容比较详尽
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
hadoop2.6.0 hadoop.dll包括winutils.exe
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.
如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、...
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
cdh-hadoop版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz
CentOS环境下Hadoop2.6.0分布式部署说明
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
Hadoop安装教程_单机_伪分布式配置
hadoop cdh版本伪分布式集群搭建详细图文教程
Hadoop伪分布式集群环境搭建,有常见错误及解决方案。
Centos7上搭建hadoop2.6.0分布式系统,教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用!
hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建
hadoop集群环境搭建之伪分布式集群环境搭建,本文档详细的介绍了伪分布式搭建过程以及搭建过程中遇到的一些问题
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。