hdfs上传和下载_hdfs下载文件

hdfs上传和下载_hdfs下载文件hdfs上传流程 首先客户端向nn请求上传文件、nn经过检查回应客户端是否可以上传、客户端得到同意后向nn请求上传第一块文件的dn、nn返回给客户端dn的地址、客户端与其中一个dn1建立连接然后dn1

HDFS的上传下载流程

hdfs上传流程

首先客户端向nn请求上传文件、
nn经过检查回应客户端是否可以上传、
客户端得到同意后向nn请求上传第一块文件的dn、
nn返回给客户端dn的地址、
客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连接、
dn3,dn2,dn1,客户端逐级回应连接成功、
客户端开始向dn1上传第一个block以packet为单位,dn1收到一份packet后自己保存一份还会给dn2,再由dn2向dn3传输一份,
当三台dn都保存了block后则第一块上传完成,可以开始上传第二块了

hdfs下载流程

客户端向nn请求下载某个文件,
nn通过查询元数据找到文件地址返回文件地址给客户端,
客户端挑选一台dn开始请求数据
dn开始传输数据,以packet的形式传输给客户端
客户端拿到所有的packet后合并为一个完整的文件
**下载的过程可以并发进行下载,也就是同时找不同的dn进行下载不同的块文件

原文地址:https://www.cnblogs.com/MMarshall/archive/2022/03/03/15962562.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/5464.html

(0)
上一篇 2023-05-08
下一篇 2023-05-08

相关推荐

  • Python元素呼叫:简化元素查找和操作

    Python元素呼叫:简化元素查找和操作a href=”https://beian.miit.gov.cn/”苏ICP备2023018380号-1/a Copyright www.python100.com .Some Rights Reserved.

    2023-12-31
    102
  • 容器化|自建 MySQL 集群迁移到 Kubernetes[亲测有效]

    容器化|自建 MySQL 集群迁移到 Kubernetes[亲测有效]背景 如果你有自建的 MySQL 集群,并且已经感受到了云原生的春风拂面,想将数据迁移到 Kubernetes 上,那么这篇文章可以给你一些思路。 文中将自建 MySQL 集群数据,在线迁移到 Kub

    2023-06-05
    136
  • mysql的日志文件_Java简介

    mysql的日志文件_Java简介1 MySQL日志分类 MySQL 的日志分为两部分: Server层的日志,所有引擎共享 Engine层日志,本文只说明 InnoDB 引擎日志 2 Server 层日志 2.1 错误日志 MyS…

    2023-03-05
    139
  • Oracle快速入门_day01

    Oracle快速入门_day01技术背景: 公司目前项目使用到了Oracle数据库 本人之前接触不多 计划4天 将Oracle数据库 快速入门 并结合开发使用,Oracle与MySql语法相似度很高,要一起学的小伙伴压力不要太大 …

    2023-02-28
    136
  • Python字典:高效存储和快速查找数据的利器

    Python字典:高效存储和快速查找数据的利器Python是一种高级编程语言,它的数据结构——字典(Dictionary)被广泛应用于各种场景。字典是一种类似于哈希表的数据结构,是一种由键(Key)和值(Value)组成的可变集合。Python字典使用哈希表来存储和查找元素,因此,它是一种高效的存储和快速查找数据的利器。

    2024-02-26
    110
  • MySQL函数和游标之初见「建议收藏」

    MySQL函数和游标之初见「建议收藏」MySQL函数 基本语法 函数申明要声明返回类型,用returns指定。 函数体中要有返回语句,return 返回值。 函数执行有别与存储过程执行,不需要Call关键字。 <例>定义一个返回时间和u…

    2022-12-17
    140
  • 用Python Canvas创建视觉效果的Web应用

    用Python Canvas创建视觉效果的Web应用Python是一种非常流行的编程语言,因为它易于学习、灵活且可以用于多种用途,包括Web开发。而Python的Canvas API则是创建交互式Web应用程序的有力工具。在本文中,我们将探索如何使用Python Canvas创建出色的视觉效果,以增强Web应用程序的用户体验。

    2024-01-11
    104
  • 使用 Golang 创建和读取 Excel 文件「建议收藏」

    使用 Golang 创建和读取 Excel 文件「建议收藏」本文提出了一种使用 Golang 进行 Excel 文件创建和读取的方案。首先对问题进行分析,然后描述Excelize基础库的基本用法,以及Excel数据在Golang中的表示和解析方式。

    2023-03-02
    137

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注