首先:安装依赖包
1, ZeroMQ 2.1.7
2, JZMQ
3, Java
4, Python
5, Unzip
这里只需要安装1,2就可以了。下面是遇到的一些问题:
安装zeroMQ
下载zeroMQ2.1.7 http://www.zeromq.org/area:download
解压:tar –xvf zeromq-2.1.7.tar.gz
Cd 到bin目录:
./autogen.sh 如果没有找到configure文件时要运行这一步。
./configure
configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下:
yum install uuid-dev 提示找不到该依赖包
yum install uuid* 直接用* ok
./configure 再次运行configure还是报错
configure: error: cannot link with -luuid, install uuid-dev.
上网搜索可能是还缺另外一个包
yum install e2fsprogs* ok
make install
安装JZMQ
a) 下载jzmq.zip https://github.com/nathanmarz/jzmq
b) Cd到bin目录./autogen.sh
c) ./configure
d) make install
安装storm集群
配置说明:10.10.249.195:nimbus 10.10.249.196: supervisor
Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群,下面是storm集群的配置:
10.10.249.195上的配置:
a) 下载storm-0.7.4.zip https://github.com/nathanmarz/storm/downloads
b) 解压后修改conf/storm.yaml文件,
storm.zookeeper.servers:
- "10.10.249.195"
- "10.10.249.196"
c) # nimbus.host:"nimbus" 这个不用改,nimbus负责提交任务,分配任务。相当于namenode节点。
配置好以后到bin目录下:
./storm nimbus 启动storm主节点服务
./storm ui 启动storm监控页面:监控地址:http://hostname:8080
10.10.249.196上的配置:
1,修改storm.yaml 文件:
storm.zookeeper.servers:
-"10.10.249.195"
-"10.10.249.196"
nimbus.host: "10.10.249.195"
#这个是storm将要启动几个本地work,一个端口对应一个work。
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
2,启动supervisor
./storm supervisor
提交任务:
10.10.249.195上面:
./storm jar stormWork.jar SearchKeywordTopNTopology "word-count"
监控storm运行情况:
转自换联网
相关推荐
storm集群部署和配置过程详解,里面有storm的详细部署步骤
storm单本安装及集群安装配置,详情见文档,另需要注意storm.yaml的配置。
Storm集群安装部署步骤,一步一步记录了作者亲自实践部署的过程,包括遇到的错误解决办法
storm集群安装与运维.doc
本文档包括storm集群部署的整体过程:JDK部署,zookeeper集群部署,storm集群部署
Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建Storm集群搭建
storm的集群安装笔记,在我的虚拟机上安装的整个过程,所有注意点都写了。绝对好用
今天接上文,来实现一个Storm数据流处理综合案例的第二部分,Storm集群向Kafka集群源源不断读取数据,通过MyBatis写入到MySQL数据库,并部署为远程模式 准备工作 参考上文准备工作 代码编写 思路:Storm集群从...
本文以TwitterStorm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。Storm集群中包含两类节点:主控节点(MasterNode)和工作节点...
storm集群安装文档,通过此文档可以迅速搭建storm的集群,进一步学习storm
storm集群相关部署文档
storm安装配置快速上手
Storm集群环境搭建
storm集群环境搭建文档
今天来实现一个Storm数据流处理综合案例的第一部分,Storm集群向Kafka集群源源不断写入数据,并部署为远程模式 准备工作 搭建三台Kafka集群服务器 参考文档:Linux部署Kafka集群 搭建三台Storm集群服务器 参考...
文档详细介绍安装storm集群的详细的操作步骤,并配有截图。
基于Storm的分布式流计算集群详细配置
本文档描述了如何在Linux下安装storm集群的全部步骤,内容详细,亲测有效