PythonTip >> 博文 >> python

高效搭建Storm完全分布式集群

zihua 2014-05-12 15:05:09 点击: 742 | 收藏


环境说明
1、硬件说明

使用三台PC机,角色分配如下



2、软件 说明


约定所有软件都放在/usr/local/路径下

准备工作
1、安装jdk
2、配置SSH

Storm集群安装
安装流程图

1、安装Zookeeper集群

2、安装Storm依赖

zeromq、jzmq、python

2.1、安装zeromq

tar -zxvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

是源码,需先编译

./configure


安装依赖

rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm

rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm 

rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm


./configure

make

make install


2.2、安装jzmq

unzip jzmq-master.zip 


安装依赖

rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm

rpm -ivh automake-1.11.1-4.el6.noarch.rpm

rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm


在/usr/local/jzmq-master路径下

./autogen.sh 

./configure
make
make install

2.3、检查python
which python
python -V 

3、安装storm

3.1、unzip storm-0.8.2.zip

3.2.1、 配置storm环境变量

# set storm  environment

export STORM_HOME=/usr/local/storm-0.8.2

export PATH=$PATH:$STORM_HOME/bin


3.2.2、 修改Storm的配置文件

vi storm.yaml
配置Zookeeper
配置storm



4、启动Storm集群

4.1、各节点启动Zookeeper

4.2、master启动Storm

4.3、子节点启动

4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 & 


5、启动验证

5.1 Java守护进程



5.2 web端
http://hadoop100:8080/


Storm集群完全分布式安装Successfully,欢迎留言交流



原文链接:http://www.tuicool.com/articles/AV7b6zM

作者:zihua | 分类: python | 标签: python | 阅读: 742 | 发布于: 2014-05-12 15时 |