`
wbj0110
  • 浏览: 1552047 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Storm 本地模式运行WordCountTopology

阅读更多

 下载Storm,地址为https://github.com/nathanmarz/storm,Storm用于将JAR包和Topology的主类提交给nimbus。本地模式我们只需记住一个命令:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies storm.starter.WordCountTopology
    下载strom-starter,地址为https://github.com/nathanmarz/storm-starter,在本地模式跑通里面的WordCountTopology例子。
    下载Maven,地址为http://maven.apache.org/download.html,用于对storm-starter中例子的所有代码以及所以来的JAR包进行打包。
    1  下载好strom,将storm的bin目录放到PATH路径下。并将bin目录下的storm脚本设置成可执行模式。
    2  开始安装maven. 下载好maven,将bin目录放到PATH路径即可。
    3  进入storm-starter的文件夹,里面有一个m2-pom.xml的文件,这个文件里面记录着storm-starter所依赖的jar包,jar包由maven仓促管理。运行mvn -f m2-pom.xml package命令。将会执行几分钟,因为会下载一些依赖的Jar包。。如果出现有些jar包不能下载。那就需要自己手动下载然后发到~/.m2/repository文件夹下。~号,代表的是当前用户的目录。windows下是C:\Documents and Settings\your_host_name\.m2\repository下。linux运行一下cd ~ && pwd命令,然后在去找.m2文件夹即可。
    4  执行完上步骤后,会在storm-starter文件夹下生成一个target目录,里面生成两个Jar包。一个是storm-starter-0.0.1-SNAPSHOT.jar,另一个是 storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar,然后在此目录运行storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology这个命令就会在本机模式下,用线程模拟storm平台执行topology。执行结果显示无误的话,输出会有10000多行

分享到:
评论

相关推荐

    Storm本地模式WordCount亲测可用

    Storm本地模式【亲测可用】基于Java版本的Storm WordCount

    基于Storm本地集群搭建实时统计CallLog实现可运行

    基于Storm实时统计CallLog实现【可运行】 使用Maven创建项目,引入Storm依赖,编写Storm组件,调试运行 本地集群搭建

    storm实例,可以直接运行

    storm实例,可以直接运行 命令在里面cmd.txt 修改好words111.txt路径就可以直接运行,前提是你storm集群没有问题

    Storm 本地运行 统计字母出现次数

    NULL 博文链接:https://xinghaifeng2006.iteye.com/blog/1995330

    Storm常见模式

    对于每一次函数调用,Storm集群上运行的拓扑接收调用函数的参数信息作为输入流,并将计算结果作为输出流发射出去。DRPC本身算不上Storm的特性,它是通过Storm的基本元素:streams,spouts,bolts,topologies而衍生...

    Storm:使用 Apache Storm 的示例

    要以分布式模式运行拓扑,您需要一个 Storm 集群,或者只是一个 VM。 以下部分将解释如何在 Linux VM 上安装 Storm。 安装风暴服务器 这些说明是通过阅读大量文档和网络搜索而得到的。 最重要的资源是一篇博文。 ...

    storm-cli:Apache Storm 的 cli

    主分支: 风暴-cli Apache Storm 的 cli 字数示例 set topology.name=test_topology; set storm.jar=./jstorm-example-0.9.0.jar;...REGISTER count=BOLT(1, "storm.starter.WordCountTopology$WordCount").FIE

    大数据_Storm_Storm的集群模式与本地模式 (基于Storm 1.0.1)-附件资源

    大数据_Storm_Storm的集群模式与本地模式 (基于Storm 1.0.1)-附件资源

    storm1.2.1-单机部署,运行自己开发的jar

    storm1.2.1-单机部署,运行自己开发的jar storm1.2.1-单机部署,运行自己开发的jar

    《Storm实时数据处理》PDF.zip

    《storm实时数据处理》通过丰富的实例,系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法...

    第一个Storm应用

    1.本地模式(Local Mode): 即Topology(相当于一个任务,后续会详细讲解) 运行在本地机器的单一JVM上,这个模式主要用来开发、调试。 2.远程模式(Remote Mode):在这个模式,我们把我们的Topology提交到集群,在这个...

    细细品味Storm_Storm简介及安装

    Storm分布式实时计算模式由Apache Storm 项目核心贡献者吉奥兹、奥尼尔亲笔撰 写,融合了作者丰富的Storm实战经验,通过大量示例,全面而系统地讲解使用Storm进行分布式实 时计算的核心概念及应用,并针对不同的应用...

    大数据-Storm实时数据处理

     《大数据技术丛书:Storm实时数据处理》通过丰富的实例,系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同...

    漫谈大数据第四期-storm

    一切就绪后,以远程模式运行 Storm,提交用于在集群中运行的Topology。 要运行Storm集群,你需要Apache Zookeeper、ØMQ、JZMQ、Java 6和Python 2.6.6。ZooKeeper用于管理集群中的不同组件,ØMQ是内部消息系统,...

    Storm的文档详解

    大数据storm流式计算引擎,关于storm的运行机制,运行的的demo,提供详细的应用

    Storm综合案例二Storm集群向Kafka集群读取数据并写入MySQL远程模式

    今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...

    Storm入门教程 之Storm原理和概念详解

    Storm入门教程 之Storm原理和概念详解,出自Storm流计算从入门到精通之技术篇,Storm入门视频教程用到技术:Storm集群、Zookeeper集群等,涉及项目:网站PV、UV案例实战、其他案例; Storm视频教程亮点: 1、Storm...

    storm-ui:Apache Storm 的用户界面

    主分支: ##包裹包战 mvn clean package -DskipTests=true -Dwarcp ./target/storm-ui.war $TOMCAT_HOME/webapps/包装罐 mvn clean package -DskipTests=truecp ./target/storm-ui-*.jar $STORM_HOME/external/...

    Storm实时数据处理

    从多个角度全面讲解Storm实时数据处理技术和最佳实践,为快速掌握并灵活应用Storm提供实用指南;从实际问题出发,系统介绍Storm的基本应用、多语言特性、完整业务系统实现和产品交付的最佳实践方法;从产品持续交付...

Global site tag (gtag.js) - Google Analytics