搭建环境准备:JDK1.6,SSH免密码通信
系统:CentOS 6.3
集群配置:NameNode和ResourceManager在一台服务器上,三个数据节点
搭建用户:YARN
Hadoop2.2下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
步骤一:上传Hadoop 2.2 并解压到/export/yarn/hadoop-2.2.0
外层的启动脚本在sbin目录
内层的被调用脚本在bin目录
Native的so文件都在lib/native目录
配置程序文件都放置在libexec
配置文件都在etc目录,对应以前版本的conf目录
所有的jar包都在share/hadoop目录下面
步骤二:配置环境变量
在~/.bashrc文件中添加以下配置:
export JAVA_HOME=/export/servers/jdk1.6.0_25/ export HADOOP_DEV_HOME=/export/yarn/hadoop-2.2.0 export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME} export YARN_HOME=${HADOOP_DEV_HOME} export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop export PATH=$PATH:$HADOOP_DEV_HOME/bin:$JAVA_HOME/bin:$HADOOP_DEV_HOME/sbin
配置完成后,执行source ~/.bashrc命令
步骤三:core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml配置
- Core-site.xml配置
<configuration > <property> <name>fs.defaultFS</name> <value>hdfs://master1:9101</value> <description></description> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/yarn/hadoop-log/</value> <description>tmp临时目录</description> </property> <property> <name>io.compression.codecs</name> <value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value> <description>压缩编码,这里配置了LZO</description> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> <description>LZO对应类</description> </property> <property> <name>io.native.lib.available</name> <value>true</value> <description>是否启用本地native库</description> </property> </configuration>
- Hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/export/yarn/hadoop-log/nd</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/export/yarn/hadoop-log/dd</value> </property> <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:60176</value> <description>namenode http 地址</description> </property> <property> <name>dfs.datanode.address</name> <value>0.0.0.0:60116</value> </property> <property> <name>dfs.datanode.ipc.address</name> <value>0.0.0.0:60126</value> </property> <property> <name>dfs.datanode.http.address</name> <value>0.0.0.0:60176</value> </property> <property> <name>dfs.secondary.http.address</name> <value>0.0.0.0:60196</value> </property> </configuration>
- Mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.address</name> <value>master1:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master1:8030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master1:8088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master1:8031</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value> </property> <property> <name>yarn.scheduler.fair.allocation.file</name> <value>fair-scheduler.xml</value> </property> </configuration>
注:这里配置了Hadoop 2.2 FairScheduler调度器
步骤四:slaves配置
将三个数据节点配置到slaves中
步骤五:将配置好的Hadoop 2.2 分发同步到各个数据节点
步骤六:格式化NameNode
执行命令:hdfs namenode –format
或者 hadoop namenode –format
步骤七:启动hdfs和yarn
启动Hdfs: start-dfs.sh
启动yarn: start-yarn.sh
或者可以执行start-all.sh一起启动hdfs和yarn
步骤八:测试
Hdfs测试:
向hdfs中上传文件:hdfs dfs –put abc /input
查看hdfs文件目录:hdfs dfs –ls /
Yarn测试:
运行WordCount测试程序:
hadoop jar /export/yarn/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /out
http://blog.csdn.net/uf_fantn/article/details/16989183
相关推荐
hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off
本人搭建hadoop完全分布式集群时,写的文档,内有详细步骤,
Hadoop-0.21.0分布式集群配置.doc
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
hadoop2.2集群搭建遇到的各种问题。
完全基于自己总结的hadoop完全分布式集群配置文档 hadoop完全分布式集群搭建笔记
Hadoop搭建完全分布式集群
史上最详细的hadoop完全分布式集群搭建,适合初学大数据的新手。由于涉及到linux的安装什么的,需要另外linux系统安装详解资源的可以联系我,免费给q:1487954071
hadoop+spark分布式集群搭建及spark程序示例,例子程序为用二项逻辑斯蒂回归进行二分类分析和一个简单的求平均的程序,两种不同的运行方式
hadoop完全分布式集群搭建笔记
VmWare虚拟机中,hadoop-2.6.5版本的全分布式集群搭建
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
hadoop伪分布式集群搭建
详细描述Hadoop3.0 高可用分布式集群搭建。步骤清晰。
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
对于想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,Spark 集群的构建分为了五个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整...
Hadoop3.3.1分布式集群搭建详细教程,简单零基础一站式搭建