Zookeeper分布式集群搭建[通俗易懂]

Zookeeper分布式集群搭建[通俗易懂]文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。 一、环境准备 软件 版本

文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。

一、环境准备

软件 版本
Linux系统 CentOS7
JDK jdk-8u221-linux-x64.tar.gz
Zookeeper zookeeper-3.4.5-cdh5.14.2.tar.gz

 

二、机器配置

主机名 hadoop01 hadoop02 hadoop03
内存 8G 8G 8G
CPU 4核 4核 4核
硬盘 500G 500G 500G
服务
QuorumPeerMain
QuorumPeerMain
 QuorumPeerMain

 

 

三、前期准备工作

  1、关闭防火墙(使用root权限,将ip修改成对应的ip地址)

firewall-cmd --state # 查看防火墙状态
systemctl stop firewalld.service # 停止防火墙
systemctl disable firewalld.service # 禁止开机启动防火墙

代码100分

  2、配置host主机映射(使用root权限,将ip修改成对应的ip地址)

代码100分sudo vi /etc/hosts

ip1 hadoop01
ip2 hadoop02
ip3 hadoop03

  3、创建普通用户(bigdata)

useradd bigdata  # 添加普通用户
passwd bigdata # 为普通用户设置密码

  4、为bigdata用户配置ssh免密码登陆(具体操作步骤略,执行命令如下)

代码100分ssh-keygen -t rsa # 生成密钥对(一路回车即可)
ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上

  5、配置三台机器的时间同步

    待更新

 

四、Zookeeper分布式集群搭建

  1、安装jdk,将jdk安装在/usr/local目录下, 要求执行用户需要有该目录下的权限

    1.1、解压jdk

tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

    1.2、配置环境变量

vi ~/.bash_profile

## 在行末添加以下内容,并保存关闭 ############# JAVA_HOME ################ export JAVA_HOME
=/usr/local/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin

    1.3、生效环境变量

source ~/.bash_profile

    1.4、验证

java -version

  2、搭建zk环境,zk安装在/opt/software目录下,要求执行用户需要有该目录下的权限

    2.1、下载并解压安装包

tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software

    2.2、创建目录

mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData

    2.3、修改配置文件

mv zoo_sample.cfg zoo.cfg # 重命名配置文件
vi zoo.cfg

# 修改dataDir属性
dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
# 添加以下内容
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

    2.4、向另外两台机器分发

scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software
scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software

    2.5、分别在三台机器上添加myid文件

# 在hadoop01上执行
echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

# 在hadoop02上执行
echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

# 在hadoop03上执行
echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

    2.6、分别在三台机器上配置ZK环境变量

vi ~/.bash_profile

## 在行末添加以下内容,并保存关闭
############# ZK_HOME  ################
export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2
export PATH=$PATH:$ZK_HOME/bin

    2.7、生效环境变量

source ~/.bash_profile

    2.8、分别在三台机器上启动zk

zkServer.sh start # 启动zk
zkServer.sh status # 查看zk状态
zkServer.sh stop # 停止zk

  至此,zookeeper分布式集群搭建完成,可以通过jps命令查看QuorumPeerMain进程是否存在,或者使用zkCli.sh进入zk客户端,来验证集群是否安装成功。

欢迎大家提出建议或疑问。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10873.html

(0)
上一篇 2022-12-20
下一篇 2022-12-20

相关推荐

  • 加速网站响应:使用Python 21线程实现高效并发处理

    加速网站响应:使用Python 21线程实现高效并发处理众所周知,Python作为一种高级语言,广受开发者的喜爱。在Web开发中,Python得到了广泛应用,但是在Web应用中,部分页面响应过慢、处理效率低等问题时有发生。那么该怎样解决这些问题呢?这时候Python的多线程和并发处理就可以派上用场了!

    2023-12-12
    115
  • flask-script作用_Python flask

    flask-script作用_Python flask安装pipinstallFlask-Script-ihttps://pypi.douban.com/simple Flsak加入flask-script #-*-coding:utf-8-*- imp

    2022-12-29
    154
  • 使用Python的Tkinter创建丰富的用户界面

    使用Python的Tkinter创建丰富的用户界面在Python中,Tkinter是最流行的GUI库之一。Tkinter使得在Python中创建图形化用户界面变得非常简单。它使用Tk GUI工具包,该工具包最初是为Tcl语言编写的,但现在也可用于其他编程语言。Tkinter除了可以用于创建基本的GUI组件之外,还可以创建复杂的、高度可定制的GUI组件,如表格、treeview和编辑器。在本文中,我们将介绍如何使用Tkinter创建具有丰富用户界面的Python应用程序。

    2023-12-20
    110
  • Mysql 的join on上的过滤和在where上过滤的区别

    Mysql 的join on上的过滤和在where上过滤的区别测试如下: (1)创建两张表,并插入数据,sql语句如下: a表: CREATE TABLE `a` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` v…

    2023-03-05
    144
  • c# hadoop_hadoop 命令

    c# hadoop_hadoop 命令Hive Hive将HiveQL(类sql语言)转为MapReduce,完成数据的查询与分析,减少了编写MapReduce的复杂度。它有以下优点: 学习成本低:熟悉sql就能使用 良好的数据分析:底层

    2023-05-14
    164
  • 回调函数的定义及使用方式

    回调函数的定义及使用方式回调函数是一种通过参数将函数传递给另一个函数的技术,该另一个函数则在适当的时候调用该函数。回调函数通常用于处理异步操作,如处理文件读取、网络请求等,以及处理事件驱动的程序。

    2024-04-16
    70
  • 京东云开发者|mysql基于binlake同步ES积压解决方案「终于解决」

    京东云开发者|mysql基于binlake同步ES积压解决方案「终于解决」1 背景与目标 1.1 背景 国际财务泰国每月月初账单任务生成,或者重算账单数据,数据同步方案为mysql通过binlake同步ES数据,在同步过程中发现计费事件表,计费结果表均有延迟,ES数据与My

    2023-06-14
    139
  • 无损压缩技术_如何无损压缩视频大小

    无损压缩技术_如何无损压缩视频大小本文主要介绍无损压缩图片的概要流程和原理,以及lepton无损压缩在前期调研中遇到的问题。

    2023-05-25
    153

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注