Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)
转自:http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html
前言:RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。
一、系统及所需软件版本
服务器操作系统:CentOS 6.3
R语言版本:R-2.15.3 (先前使用过R-3的最新版,发现新版本存在各种不兼容的问题,因此选择了R-2的最新版)
下载地址:http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.15.3.tar.gz
Cloudera Hadoop CDH版本:4.4.0
JDK版本:1.6.0_31
使用Cloudera Manager 免费版的安装包cloudera-manager-installer.bin,即可完成CDH和JDK的安装,具体详见CDH的安装
下载地址:https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+Download
rJava(是java可以调用R,可使用CRAN安装)版本:rJava_0.9-5
下载地址:http://www.rforge.net/src/contrib/rJava_0.9-5.tar.gz
RHadoop版本,为官方最新版本,项目地址(https://github.com/RevolutionAnalytics),包含项目具体如下:
- rmr-2.2.2
- rhdfs-1.0.6
- rhbase-1.2.0
下载地址:https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads
说明文档:https://github.com/RevolutionAnalytics/RHadoop/wiki
二、依赖安装(R语言包、rJava包)
在安装之前需要在集群各个主机上逐个安装R语言包、rJava包,然后再进行Rhadoop的安装。具体安装步骤如下:
1、安装R语言包
在编译R之前,需要通过yum安装以下几个程序:
# yum install gcc-gfortran
否则报”configure: error: No F77 compiler found”错误
# yum install gcc gcc-c++
否则报”configure: error: C++ preprocessor “/lib/cpp” fails sanity check”错误
# yum install readline-devel
否则报”–with-readline=yes (default) and headers/libs are not available”错误
# yum install libXt-devel
否则报”configure: error: –with-x=yes (default) and X11 headers/libs are not available”错误
然后下载源代码,编译
# wget http://cran.rstudio.com/src/base/R-2/R-2.15.3.tar.gz
# tar -zxvf R-2.15.3.tar.gz
# cd R-2.15.3
# ./configure –prefix=/usr –disable-nls –enable-R-shlib/** (后面两个选项–disable-nls –enable-R-shlib是为RHive的安装座准备,如果不安装RHive可以省去)*/
# make
# make install
相关推荐
最近学习hadoop,综述了大家的博客,终于弄出来一篇自己认为比较完成的文档。 centos6.2 mini hadoop-2.0.0-cdh4.3.0.tar.gz zookeeper-3.4.5-cdh4.3.0.tar.gz hbase-0.94.6-cdh4.3.0.tar.gz
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
Cloudera Hadoop 安装指南
Cloudera hadoop开发员培训教材,掌握hadoop,cdh平台的不错资料
Cloudera hadoop官方文档 Cloudera Enterprise 5.11.x Documentation https://www.cloudera.com/documentation/enterprise/latest.html
cloudera-hive-cdh6.3.2源码包
CDH5安装手册:Apache Hadoop的服务的部署比较繁琐,需要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试,就...
cdh5-vagrant, 准备使用,手动调整 Cloudera Hadoop发行版 5已经置备集群 Hadoop发行版 5的 Vagrant脚本这个脚本提供了一个完整的自动方式来在完全分布式的node 中安装 Cloudera,无需用户干预。 因为我在互联网上...
作为业界最领先的企业级数据平台软件,Cloudera企业版除了包含业界最流行的基于开源Hadoop及其生态组件构建的CDH核心,还包含了大量为支撑企业级业务的高级管理特性。 借助于Cloudera企业版的整体解决方案,企业可以...
cloudera(CDH) 官网介绍:安装包、离线包该 如何下载、官方文档等介绍 问题导读: 1. 如何进入 cloudera 官网? 2. 如何下载 CM 、CDH 离线包? 3. 如何找到 CM 的在线安装包? 4.cloudera 在哪可以找到? 进入官网...
cdh7.1.7包括: CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-...
CDH6.2.0全安装包,包含以下内容: 本人亲自安装测试通过后整理的的cdh6.2.0离线安装教程 cdh6.2.0安装部署教程.txt mysql-connector-java-5.1.47.tar.gz mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar cloudera-manager...
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Cloudera CDH集群运维手册,带截图的,挺详细,有用Cloudera cdh集群的可以看看
Cloudera培训题目,主要关于spark,语言用的scala和python
由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
cdh-hadoop版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz
CDH部署安装文档,纯手敲非复制,有截图,一看就懂
2、运行命令sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/jars/cdh5-demo-0.0.1-SNAPSHOT.jar zx.soft.wordcount.WordCountMain /user/hdfs/input /user/hdfs/output1或者sudo -u hdfs hadoop jar /opt/...