hdfs的ha机制_redis集群工作原理

hdfs的ha机制_redis集群工作原理1.简单hdfs集群中存在的问题 不能存在两个NameNode 单节点问题 单节点故障转移 2.解决单节点问题 找额外一个NameNode备份原有的数据 会出现脑裂 脑裂:一个集群中多个管理者数据不一

HDFS的HA集群原理分析

1.简单hdfs集群中存在的问题

  • 不能存在两个NameNode
  • 单节点问题   单节点故障转移

2.解决单节点问题

  • 找额外一个NameNode备份原有的数据 会出现脑裂
  • 脑裂:一个集群中多个管理者数据不一致 这种情况称之为脑裂

3.如何解决启动多个NameNode时保证同一时刻只有一个NameNode工作 避免脑裂发生

  QJM 使用Zookeeper完成高可用

        hdfs的ha机制_redis集群工作原理

 

 

 4.面试问题

在HA集群中 如果zk与NameNode(active) 出现网络延迟这种情况时,zk会自动切换NameNode(standy) 为活跃节点 这个时候集群中就出现了多个NameNode active  进而出现脑裂问题

Journal Node可以解决脑裂问题  它有两个作用:

    1. 负责NameNode中edits同步
    2. 隔离机制 保证在这一时刻只能有一个NameNode active 使用ssh登录到NameNode节点上使用kill命令杀死NameNode

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10286.html

(0)
上一篇 2022-12-30
下一篇 2022-12-30

相关推荐

  • 让数据处理更加高效:使用Python NumPy数组

    让数据处理更加高效:使用Python NumPy数组在数据科学和机器学习领域,数据处理一般是数据工作流程中最耗费时间的部分。Python是最流行的数据处理语言之一,但如果使用Python内置的数据类型,如列表和字典来处理大量数据,处理速度会很慢。这时候,NumPy数组的使用可以大大提高处理效率。

    2024-02-24
    104
  • Oracle学习(一) — 入门安装「终于解决」

    Oracle学习(一) — 入门安装「终于解决」一、简介 Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统…

    2023-03-01
    150
  • Python安装tar.gz教程

    Python安装tar.gz教程对于一些在Linux系统下进行Python开发的人来说,安装Python tar.gz是一个非常常见的任务。Python tar.gz是源代码压缩包,通常有一些优点,比如自由度更高、安装更灵活、可以自己手动编译。在这篇文章中,我将提供一些简单且易于跟随的步骤,以便让读者可以轻松地完成Python tar.gz的安装。

    2024-06-28
    57
  • Python Suffix End: 简洁有效的后缀操作实现

    Python Suffix End: 简洁有效的后缀操作实现后缀是指字符串中最后几个字符构成的子串,通常用于匹配文件类型或者文件夹的特定结尾。比如一个文件名为example.jpg,这个文件的后缀就是jpg。在程序设计中,我们常常需要对文件类型进行判断,此时就需要对后缀进行操作。

    2024-04-10
    74
  • maven项目结构图_项目构建工具

    maven项目结构图_项目构建工具项目管理构建工具——Maven(基础篇) 在前面的内容中我们学习了JDBC并且接触到了jar包概念 在后面我们的实际开发中会接触到很多jar包,jar包的导入需要到互联网上进行就会导致操作繁琐 Mav

    2023-06-04
    156
  • Python展示当前时间

    Python展示当前时间Python是一种简单易学的编程语言,并且拥有广泛的应用领域。在Python中,展示当前时间是一种极其常见的操作,也可以作为入门级别的练手小程序。展示当前时间代码简单易懂,容易传达给读者。

    2024-07-24
    41
  • 经典案例:磁盘I/O巨高排查全过程「建议收藏」

    经典案例:磁盘I/O巨高排查全过程「建议收藏」作者:叶金荣,知数堂联合创始人,3306pai社区联合创始人 前言 是什么原因导致线上数据库服务器磁盘I/O的util和iowait持续飚高? 1. 问题描述 朋友小明的线上数据库突发严重告警,业务…

    2023-01-30
    159
  • 海外直播软件 Bigo 的 TiDB 4.0 线上实践「终于解决」

    海外直播软件 Bigo 的 TiDB 4.0 线上实践「终于解决」作者介绍:徐嘉埥,Bigo DBA,TUG 华南区大使。 Bigo 于 2014 年成立,是一家高速发展的科技公司。Bigo 基于强大的音视频处理技术、全球音视频实时传输技术、人工智能技术、CDN …

    2023-03-15
    145

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注