百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

从入门到精通Storm系列1-环境搭建

nanshan 2024-11-12 11:41 8 浏览 0 评论


Step1:新建用户

在所有主机上新建hadoop用户,密码是Hadoop123

useradd hadoop

passwd hadoop

输入密码Hadoop123

Step2:设置免密登录

设置所有主机之间ssh免密码登录。设置主节点到从节点的免密码登录即可。

Step3:软件包下载

(1)mkdir -p /mnt/data/software

(2)将所需要的软件包放在/mnt/data/software目录下

如需要以下三个安装包,请长按文末二维码关注“大数据技术宅”,后台输入“storm安装包”获取。

jdk-8u121-linux-i586.tar.gz

apache-storm-1.0.5.tar.gz

zookeeper-3.4.10.tar.gz

Step4:安装JDK

(1)卸载openjdk

rpm -qa | grep jdk

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64

rpm -e --nodepscopy-jdk-configs-1.2-1.el7.noarch

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64

(2)安装jdk1.8

cd /mnt/data/software

tar -zxvf jdk-8u121-linux-i586.tar.gz

配置java环境变量

vim /etc/profile

在文件中写入以下内容

JAVA_HOME=/mnt/data/software/jdk1.8.0_121

JRE_HOME=/mnt/data/software/jdk1.8.0_121/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

使环境变量生效:source/etc/profile

Step5:安装zookeeper

(1)关闭三台机器上的防火墙(CentOS 7)

firewall-cmd --state 查看防火墙状态

systemctl stop firewalld.service 关闭防火墙

systemctl disable firewalld.service 禁止开机启动

(2)安装

cd /mnt/data/software

tar -zxvf zookeeper-3.4.10.tar.gz

mv zookeeper-3.4.10

cd zookeeper/conf

将conf目录中的zoo_sample.cfg文件复制为zoo.cfg并利用vi命令进行修改

dataDir=/mnt/data/software/zookeeper/data

server.1=ip:2888:3888 ip为服务器的ip

server.2=ip:2888:3888 ip为服务器的ip

server.3=ip:2888:3888 ip为服务器的ip

这里的dataDir需要自己创建 mkdir命令创建,并在目录下创建一个文件:myid分别在myid上按照配置文件的server.中id的数值,在不同机器上的该文件中填写相应过的值1|2|3

如[root@safe01data]# vim myid

保存即可

(3)添加zookeeper环境变量

vim /etc/profile

ZOOKEEPER_HOME=/mnt/data/software/zookeeper

PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

export JAVA_HOME CLASSPATH ZOOKEEPER_HOME PATH

引用环境变量:source/etc/profile

(4)测试安装

三台机器执行zkServer.shstart进行启动zookeeper

查看状态zkServer.shstatus

[root@safe01 data]# zkServer.sh status

JMX enabled by default

Using config: /mnt/data/software/zookeeper/bin/../conf/zoo.cfg

Mode: follower

两个follower一个leader就是正确的

Step6:安装Storm

(1)安装

cd /mnt/data/software

tar -zxvf apache-storm-1.0.5.tar.gz

mv apache-storm-1.0.5 storm

cd ./storm/conf

编辑storm.yaml

storm.zookeeper.servers:

- "172.16.2.27"

- "172.16.2.42"

- "172.16.2.72"

#nimbus

nimbus.host: "172.16.2.27"

ui.port: 8081

supervisor.slots.ports:

-6700

-6701

-6702

-6703

storm.local.dir:"/mnt/data/software/storm/data"

创建数据文件目录:mkdir /mnt/data/software/storm/data

将storm分发到其他主机上:

scp -r /mnt/data/software/storm/ hadoop@172.16.2.42:/mnt/data/software

scp -r /mnt/data/software/storm/ hadoop@172.16.2.72:/mnt/data/software

在所有主机上添加storm的环境变量:

STORM_HOME=/mnt/data/software/storm

PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$KAFKA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH ZOOKEEPER_HOME STORM_HOME KAFKA_HOME PATH

(2)启动

在主机centos上开启nimbus进程

storm nimbus &

在另外两台机子上开启supervisor 进程

storm supervisor &

开启完按Ctrl+c

在centos主机上开启

storm ui &

storm logviewer &

这样就可以通过web查看storm部署情况了

访问http://172.16.2.27:8080/

相关推荐

如何为MySQL服务器和客户机启用SSL?

用户想要与MySQL服务器建立一条安全连接时,常常依赖VPN隧道或SSH隧道。不过,获得MySQL连接的另一个办法是,启用MySQL服务器上的SSL封装器(SSLwrapper)。这每一种方法各有其...

Mysql5.7 出现大量 unauthenticated user

线上环境mysql5.7突然出现大量unauthenticateduser,进mysql,showprocesslist;解决办法有:在/etc/hosts中添加客户端ip,如192.16...

MySQL 在 Windows 系统下的安装(mysql安装教程windows)

更多技术文章MySQL在Windows系统下的安装1.下载mysql和Framework链接链接:百度网盘请输入提取码提取码:6w3p双击mysql-installer-communit...

MySql5.7.21.zip绿色版安装(mysql数据库绿色版安装)

1、去网上下载满足系统要求的版本(mysql-5.7.21-winx64.zip)2、直接解压3、mysql的初始化(1)以管理员身份运行cmd,在mysql中的bin目录下shift+右键-在...

MySQL(8.0)中文全文检索 (亲测有效)

在一堆文字中找到含有关键字的应用。当然也可以用以下语句实现:SELECT*FROM<表名>WHERE<字段名>like‘%ABC%’但是它的效率太低,是全盘扫描。...

新手教程,Linux系统下MySQL的安装

看了两三个教程。终于在哔哩哔哩找到一个简单高效的教程,成功安装,up主名叫bili逍遥bili,感兴趣可以去看看。下面这个是我总结的安装方法环境:CentOS764位1.下载安装包,个人觉得在...

麒麟服务器操作系统安装 MySQL 8 实战指南

原文连接:「链接」Hello,大家好啊,今天给大家带来一篇麒麟服务器操作系统上安装MySQL8的文章,欢迎大家分享点赞,点个在看和关注吧!MySQL作为主流开源数据库之一,被广泛应用于各种业务...

用Python玩转MySQL的全攻略,从环境搭建到项目实战全解析

这是一篇关于“MySQL数据库入门实战-Python版”的教程,结合了案例实战分析,帮助初学者快速掌握如何使用Python操作MySQL数据库。一、环境准备1.安装Python访问Pytho...

安装MySQL(中标麒麟 安装mysql)

安装MySQL注意:一定要用root用户操作如下步骤;先卸载MySQL再安装1.安装包准备(1)查看MySQL是否安装rpm-qa|grepmysql(2)如果安装了MySQL,就先卸载rpm-...

Mysql最全笔记,快速入门,干货满满,爆肝

目录一、MySQL的重要性二、MySQL介绍三、软件的服务架构四、MySQL的安装五、SQL语句六、数据库相关(DDL)七、表相关八、DML相关(表中数据)九、DQL(重点)十、数据完...

MAC电脑安装MySQL操作步骤(mac安装mysqldb)

1、在官网下载MySQL:https://dev.mysql.com/downloads/mysql/根据自己的macOS版本,选择适配的MySQL版本根据自己需求选择相应的安装包,我这里选择macO...

mysql主从(mysql主从切换)

1、本章面试题什么是mysql主从,主从有什么好处什么是读写分离,有什么好处,使用mycat如何实现2、知识点2.1、课程回顾dubboORM->MVC->RPC->SOApro...

【linux学习】以MySQL为例,带你了解数据库

做运维的小伙伴在日常工作中难免需要接触到数据库,不管是MySQL,mariadb,达梦还是瀚高等其实命令都差不多,下面我就以MySQL为例带大家一起来了解下数据库。有兴趣的小伙伴不妨评论区一起交流下...

玩玩WordPress - 环境简介(0)(玩玩网络科技有限公司)

简介提到开源博客系统,一般都会直接想到WordPress!WordPress是使用PHP开发的,数据库使用的是MySQL,一般会在Linux上运行,Nginx作为前端。这时候就需要有一套LNMP(Li...

服务器常用端口都有哪些?(服务器端使用的端口号范围)

下面为大家介绍一下,服务器常用的一些默认端口,以及他们的作用:  21:FTP服务所开放的端口,用于上传、下载文件。  22:SSH端口,用于通过命令行模式远程连接Linux服务器或vps。  23:...

取消回复欢迎 发表评论: