简介: 最新的Cloudera CDH5.0.0 beta版本已经支撑RM的HA, 笔者为此简单验证了RM HA的功能. 后续将持续解析其HA的道理,以及其与社区RM HA的差别.
集群属下与RM failover功能性验证
-
硬件筹办
四台机械, bj1, bj3, bj4, bj5 筹办好响应的景象(包含ssh互通, java景象).
角色申明, bj1为rm1, bj3为rm2, bj4和bj4为slave.
Zookeeper属下在bj1上.
-
Hadoop版本筹办http://archive.cloudera.com/cdh5/cdh/5/ 响应的CDH5版本hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz(包含属下包和原代码),然后属下到每台slave中.
-
Zookeeper安装在bj1, 最新Zookeeper, 解压后设备 conf/zoo.cfg文件, 然后启动.
[yuling.sh@v125050024 ~]¥ cd zookeeper-3.4.3/
[yuling.sh@v125050024 zookeeper-3.4.3]¥ cp conf/zoo_sample.cfg conf/zoo.cfg
[yuling.sh@v125050024 zookeeper-3.4.3]¥ bin/zkServer.sh start
-
设备文件筹办,参考(https://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/CDH5-High-Availability-Guide/cdh5hag_cfg_RM_HA.html).
-
etc/hadoop/slaves
bj4
bj5
-
etc/hadoop/hdfs-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://bj1:9000</value>
</property>
-
etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
-
etc/hadoop/yarn-site.xml设备如下
除了yarn.resourcemanager.ha.id须要稍作批改外, 其它设备都可以一样.
<!-- Resource Manager Configs -->
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>2000</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.ha.id</name>
<value>rm2</value> <!—注释, rm1上设备为rm1, rm2上设备rm2-->
</property>
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.zk.state-store.address</name>
<value>bj1:2181</value>
</property>
?<property>
<name>ha.zookeeper.quorum</name>
<value>bj1:2181</value>
</property>
?<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
<value>5000</value>
</property>
<!-- RM1 configs -->
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>bj1:23140</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>bj1:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>bj1:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
<value>bj1:23125</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address.rm1</name>
<value>bj1:23141</value>
</property>
<property>
<name>yarn.resourcemanager.ha.admin.address.rm1</name>
<value>bj1:23142</value>
</property>
<!-- RM2 configs -->
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>bj3:23140</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>bj3:23130</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>bj3:23188</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
<value>bj3:23125</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address.rm2</name>
<value>bj3:23141</value>
</property>
<property>
<name>yarn.resourcemanager.ha.admin.address.rm2</name>
<value>bj3:23142</value>
</property>
<!-- Node Manager Configs -->
<property>
<description>Address where the localizer IPC is.</description>
<name>yarn.nodemanager.localizer.address</name>
<value>0.0.0.0:23344</value>
</property>
<property>
<description>NM Webapp address.</description>
<name>yarn.nodemanager.webapp.address</name>
<value>0.0.0.0:23999</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/tmp/pseudo-dist/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/tmp/pseudo-dist/yarn/log</value>
</property>
<property>
<name>mapreduce.shuffle.port</name>
<value>23080</value>
</property>
-
-
起首启动HDFS
bin/hadoop namenode –format
sbin/start-dfs.sh
网页上查看Namenode: http://bj1:50070/dfshealth.jsp
-
启动Yarn
rm1上启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
rm2上启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager
?
slave启动NodeManager
????sbin/yarn-daemons.sh start nodemanager
查看rm1和mr2的网页. http://bj1:23188/cluster 和 http://bj3:23188/cluster 此中active RM的网页可以查看, stanby的RM无法查看网页.
注: 若是yarn.resourcemanager.ha.automatic-failover.enabled设置为false, 则须要手动设置此中一个RM为active,负责两个RM都为standby.
-
提交一个sleep功课测试
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-cdh5.0.0-beta-1.jar sleep -m 1000
然后可以到网页上查看功课运行景象
-
在功课运行过程中kill掉active的RM过程, 这时辰打开standby RM的网页,可以看到刚才提交的功课持续运行.
[yuling.sh@v125050024 hadoop-2.2.0-cdh5.0.0-beta-1]¥ jps
31333 ResourceManager
31671 Jps
29502 NameNode
25375 QuorumPeerMain
[yuling.sh@v125050024 hadoop-2.2.0-cdh5.0.0-beta-1]¥ kill 31333
相关推荐
Cloudera CDH集群运维手册,带截图的,挺详细,有用Cloudera cdh集群的可以看看
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
cloudera CDH v5.16.2完整安装包,包含cm和parcel
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决...
该文档详细讲解了cloudera manager安装cdh步骤,作者看了官方文档不下千次,呕心沥血整理,非常详细,以及各种安装方法的核心优缺点
cloudera-hive-cdh6.3.2源码包
cloudera公司的CDH4版本hadoop安装说明
cloudera公司CDH4版本hadoop的使用说明
使用所有CDH组件创建docker 此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件(Hadoop,Spark,Hbase,Hive,Impala,Hue,Zookeeper,Oozie等)。 如何建立cdh容器? docker build -t docker-cdh...
学习hadoop是在平台上学习的文档,与大家一起共享,交流学习
cdh7.1.7包括: CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-...
我在 5 个 EC2 实例的集群上运行了 Cloudera CDH 5.3 的开发/测试/POC 安装。 我只在需要时才启动集群,其余时间保持停止。 要启动或停止集群,我必须登录 AWS EC2 控制台和 Cloudera Manager (CM) 控制台并执行...
1. 本手册仅适用于 Cloudera Manager 5 以及 CDH5 以上的版本 2. Cloudera Enterprise 的是通过 parcel 包的形式进行安装的 3. Cloudera Enterprise 安装是基于外部数据库的 4. 若是由 CDH 5.3 升级至 CDH 5.4,则...
cloudera hadoop搭建手册,CDH包括hdfs mapreduce hbase hive oozie sqoop zookeeper pig 等
Cloudera CM6.3.1 CDH6.3.2 完整版+离线安装教程
Cloudera Manager6.2.1
最近学习hadoop,综述了大家的博客,终于弄出来一篇自己认为比较完成的文档。 centos6.2 mini hadoop-2.0.0-cdh4.3.0.tar.gz zookeeper-3.4.5-cdh4.3.0.tar.gz hbase-0.94.6-cdh4.3.0.tar.gz
3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的mysql数据库 10 3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用性(基于Quorum-based ...
由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...