1.5 HDFS分布式文件系统-hadoop「建议收藏」

1.5 HDFS分布式文件系统-hadoop「建议收藏」1.5 HDFS分布式文件系统 1.5.1 HDFS 简介 HDFS(全称:Hadoop Distribute File System,Hadoop 分布式文件系统)是 Hadoop 核心组成,是分布

1.5 HDFS分布式文件系统-hadoop

目录
  • 1.5 HDFS分布式文件系统
    • 1.5.1 HDFS 简介
    • 1.5.2 HDFS的重要概念
    • 1.5.3 HDFS架构

1.5 HDFS分布式文件系统

1.5.1 HDFS 简介

HDFS(全称:Hadoop Distribute File System,Hadoop 分布式文件系统)是 Hadoop 核心组成,是分布式存储服务

分布式文件系统横跨多台计算机,在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。

HDFS是分布式文件系统中的一种。

1.5.2 HDFS的重要概念

HDFS 通过统一的命名空间目录树来定位文件;另外,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色(分布式本质是拆分,各司其职)

  • 典型的 Master/Slave 架构

    HDFS 的架构是典型的 Master/Slave 结构。

    HDFS集群往往是一个NameNode(HA架构会有两个NameNode,联邦机制)+ 多个DataNode组成。

    NameNode是集群的主节点,DataNode是集群的从节点。

  • 分块存储(block机制)

    HDFS中的文件在物理上是分块存储(block)的,块的大小可以通过配置参数来规定。

    Hadoop2.x版本中默认的block大小是128M。

  • 命名空间(NameSpace)

    HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录,然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似:用户可以创建、删除、移动 或重命名文件。

    Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被 Namenode 记录下来。

    HDFS提供给客户单一个抽象目录树,访问形式:hdfs://namenode的hostname:port/test/input

    hdfs://linux121:9000/test/input

  • NameNode元数据管理

    我们把目录结构及文件分块位置信息叫做元数据。

    NameNode的元数据记录每一个文件所对应的block信息(block的id,以及所在的DataNode节点的信息)

  • DataNode数据存储

    文件的各个 block 的具体存储管理由 DataNode 节点承担。一个block会有多个DataNode来存储,DataNode会定时向NameNode来汇报自己持有的block信息。

  • 副本机制
    为了容错,文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定,也可以在之后改变。 副本数量默认是3个。

  • 一次写入,多次读出

    HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的随机修改。(支持追加写入, 不只支持随机更新)

    正因为如此,HDFS适合用来做大数据分析的底层存储服务,并不适合用来做网盘等应用(修改不方便,延迟大,网络开销大,成本太高)

1.5.3 HDFS架构

在这里插入图片描述

  • NameNode(nn):hdfs集群的管理者,Master

    • 维护管理hdfs的名称空间(NameSpace)

    • 维护副本策略

    • 记录文件块(Block)的映射信息

    • 负责处理客户端读写请求

  • DataNode:NameNode下达命令,DataNode执行实际操作,Slave节点。

    • 保存实际的数据块
    • 负责数据块的读写
  • Client:客户端

    • 上传文件到HDFS的时候,Client负责将文件切分成Block,然后进行上传
    • 请求NameNode交互,获取文件的位置信息
    • 读取或写入文件,与DataNode交互
    • Client可以使用一些命令来管理HDFS或者访问HDFS

在这里插入图片描述

原文地址:https://www.cnblogs.com/gitBook/archive/2022/12/06/16960277.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/4450.html

(0)
上一篇 2023-06-19
下一篇 2023-06-19

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注