准备:基本的Hadoop环境搭建好,并启动hadoop。
Hadoop集群环境: 10.20.153.125 h5 master
10.20.153.126 h6 slave
10.20.153.127 h7 slave
版本:hadoop-1.0.0;
eclipse-SDK-3.7.2-linux-gtk
系统:VMWare下的Ubuntu
第一步:由于hadoop-1.0.0源码中没有自带eclipse的插件,编译生成org.apache.hadoop.eclipse_1.0.0.jar。把这个插件拷到 eclipse安装目录/plugins/ 下。
第二步:重启eclipse,配置hadoop installation directory。
若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出。
这里需要注意的是:根据你即将要跑的代码是在当前这个hadoop版本的目录下。
第三步:配置Map/Reduce Locations。
在Window-->Show View中打开Map/Reduce Locations。Eclipse窗口下会有如下显示。
在这个View中,右键-->New Hadoop Location。弹出如下对话框:
需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。
配置完了,会在eclipse窗口看到
这里我是建了两个DFS Locations,hadoop连接的192.168.71.128就是没有配置好,下面的hadoop-1.0.0就是配置好了。
第四步:新建项目。
File-->New-->Other-->Map/Reduce Project。
随便可以取个工程名。现在以Hadoop自带的WordCount.java为例来说明如何运行这个mapreduce任务。
把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。
第五步:创建输入文件。
1.在终端连上机器10.20.153.125,在这台机器上新建input文件夹:
接着创建两个file文件:
2.将本机上的输入文件上传到hdfs上:
第六步:运行代码。
1. 在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount
3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,
4.设置完了就点下这个Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令:hadoop fs –ls /user/hadoop/output1
结果如下:
相关推荐
window下eclipse中运行mapreduce程序所需要的Hadoop全部jar包
该文档的目录如下: 1.1实验目的 1.2实验环境 V 1.3实验步骤 1.3.1安装eclipse 1.3.2安装Hadoop- Eclipse Plugin ...1.3.5在Eclipse 中创建MapReduce项目 附:查看HDFS文件系统数据的三种方法
eclipse运行MapReduce架包~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
使用eclipse不能直接運行mapreduce的代碼,安裝此插件可運行mr框架的代碼
} } }}(2)将Hadoop配置文件添加到“WordCount” MapReduce项目将log4j.properties 复制到 WordCount 项目
2. 在 Hadoop 集群主节点上搭建 MapReduce 开发环境 Eclipse。 3. 查看 Hadoop 自带的 MR-App 单词计数源代码 WordCount.java,在 Eclipse 项目 MapReduceExample 下建立新包 com.xijing.mapreduce,模仿内置的 ...
Hadoop分析气象数据完整版源代码(含Hadoop的MapReduce代码和SSM框架) 《分布式》布置了一道小作业,这是作业的所有代码,里面包含了Hadoop的MapReduce代码、和SSM框架显示数据的代码
hadoop eclipse mapreduce 下开发所有需要用到的 JAR 包。 hadoop eclipse 下进行mapreduce开发所有需要用到的JAR包 mapreduce
学习hadoop的比较全的中文资料。文中几乎综合了所有入门用户需要的内容,包括hadoop项目的单机,为分布式,分布式的搭建和环境配置,以及具体的hdfs的内部结构等。
博客中的大数据-hadoop的mapreduce相关代码,需要的朋友下吧
hadoop eclipse 下进行mapreduce开发所有需要用到的JAR包
最近学习hadoop,发现Hadoop不提供编译后的hadoop-eclipse插件,于是就自己动手编译了hadoop-eclipse-plugin-1.1.0.rar插件 ...Hadoop1.1.0是beta版本,有兴趣的朋友可以下载装装,感受下MapReduce编程框架
爬虫代码+MapReduce代码+可视化展示代码实验报告,包含详细代码实现
使用Eclipse编译运行MapReduce程序(Hadoop-Eclipse-Plugin,建议) 38 使用Eclipse打包自己的MapReduce程序 51 不用Hadoop-Eclipse-Plugin编写MapReduce程序 54 Hadoop集群安装配置教程 56 HBase安装 56 HBase...
配置mapreduce开发环境(简单易懂,轻松上手)一步一步按照教程操作就行
安装Maven,eclipse,本地Hadooop, eclipse-hadoop插件,然后再windows上就可以运行MapReduce程序
hadoop网站通过SVN下载下来的mapreduce代码。欢迎现在学习!
插件: hadoop-0.20.1-eclipse-plugin,hadoop-eclipse-plugin-1.0.0这两个插件,需要的可以下载。