hdfs上传和下载_hdfs下载文件

hdfs上传和下载_hdfs下载文件hdfs上传流程 首先客户端向nn请求上传文件、nn经过检查回应客户端是否可以上传、客户端得到同意后向nn请求上传第一块文件的dn、nn返回给客户端dn的地址、客户端与其中一个dn1建立连接然后dn1

HDFS的上传下载流程

hdfs上传流程

首先客户端向nn请求上传文件、
nn经过检查回应客户端是否可以上传、
客户端得到同意后向nn请求上传第一块文件的dn、
nn返回给客户端dn的地址、
客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连接、
dn3,dn2,dn1,客户端逐级回应连接成功、
客户端开始向dn1上传第一个block以packet为单位,dn1收到一份packet后自己保存一份还会给dn2,再由dn2向dn3传输一份,
当三台dn都保存了block后则第一块上传完成,可以开始上传第二块了

hdfs下载流程

客户端向nn请求下载某个文件,
nn通过查询元数据找到文件地址返回文件地址给客户端,
客户端挑选一台dn开始请求数据
dn开始传输数据,以packet的形式传输给客户端
客户端拿到所有的packet后合并为一个完整的文件
**下载的过程可以并发进行下载,也就是同时找不同的dn进行下载不同的块文件

原文地址:https://www.cnblogs.com/MMarshall/archive/2022/03/03/15962562.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/5464.html

(0)
上一篇 2023-05-08
下一篇 2023-05-08

相关推荐

  • 使用PyCharm编写Python程序

    使用PyCharm编写Python程序Python是一种高级语言,因其简单易学、可读性强、跨平台、强大的库等特点在各个领域应用广泛。而PyCharm是一个功能强大的Python IDE,提供了丰富的工具和环境,方便快捷地编写、调试和测试Python程序。本文将会详细介绍如何使用PyCharm编写Python程序,并让读者更深入的了解这个强大而又易用的工具。

    2024-08-08
    31
  • Mongodb使用总结[亲测有效]

    Mongodb使用总结[亲测有效]Mongodb使用总结 基于内存操作,便于与网站交互 数据库-集合-文档(存储多种数据类型),我们的操作都是基于单文档进行操作,并且通过冗余字段进行操作 嵌入式数组文档减少了对昂贵连接的需求 Douc

    2023-06-01
    171
  • 用Python编写Pygame游戏中的交互按钮

    用Python编写Pygame游戏中的交互按钮Pygame是一种由Python开发的游戏开发库,它提供了许多方便的游戏开发接口和工具。它是一种很好的选择,可以帮助我们编写桌面游戏。

    2024-04-06
    83
  • 使用Python的str.startswith函数优化字符串匹配操作

    使用Python的str.startswith函数优化字符串匹配操作str.startswith函数的作用是判断一个字符串是否以某个前缀开头。它的基本语法如下:

    2024-03-20
    101
  • Hadoop介绍[亲测有效]

    Hadoop介绍[亲测有效]Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台,允许使用简单的编程模型在大量的计算机集群上对大型数据集进行分布式处理。 下面是Hadoop

    2023-03-15
    147
  • Python实现网站登录功能优化

    Python实现网站登录功能优化登录验证方式对于网站的安全性至关重要。不同的验证方式有不同的优缺点,需要根据具体情况进行选择。

    2024-01-26
    99
  • oracle配置环境变量tns_协议分析

    oracle配置环境变量tns_协议分析本系列重点分析TNS 314下的客户端与服务端之间的通讯,通过抓包分析,查看在不同客户端,不同服务端情况下传输方式的不同,尝试还原其协议细节,实现对协议中一些关键内容的解析,如登录用户名,协议版本,o

    2023-02-26
    163
  • [20200103]GUID转换GUID_BASE64.txt「建议收藏」

    [20200103]GUID转换GUID_BASE64.txt「建议收藏」[20200103]GUID转换GUID_BASE64.txt–//最近在做一个项目优化,里面大量使用uuid.优缺点在链接:http://blog.itpub.net.x.y265/viewspa

    2022-12-30
    144

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注