安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

小小码 • 2023-02-20 18:30 • 代码基础 • 阅读 161

大家好，我是考100分的小小码，祝大家学习进步，加薪顺利呀。今天说一说安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂],希望您对编程的造诣更进一步.

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)

1. Java

下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java，在启动资源节点管理器时会出现错误

Java 安装自选目录, 必须是中间不带空格的目录结构：比如 C:java64

安装完成后，使用“java -version”命令在命令行中确认运行了正确的版本

C:Users>java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

代码100分

2. WinRAR/7-ZIP

下载并安装WinRAR 64位版本，用来解压Windows上的Linux类型tar.gz包： http://www.rarlab.com/download.htm

或者使用7-zip： https://www.7-zip.org/download.html

3. Hadoop

安装Hadoop发行版。二进制包: https://archive.apache.org/dist/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz

解压并将文件夹名重命名为hadoop，并将其放在C:Learning

目录名字中间不要有空格(因为Hadoop初始开发基于linux， linux 文件名字不能有空格)。

3. 1 Setup Environmental Variables

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

添加以下目录到path变量:

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

3.2 Edit Hadoop Configuration

注意：如果你不想自己配置下面 3.2 过程，除了3.2.3 其它的步骤可以忽略，那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！

c:/Learning/hadoop/data
c:/Learning/hadoop/data/namenode
c:/Learning/hadoop/data/datanode

3.2.2 修改 Hadoop 配置文件

HDFS服务地址

代码100分a) C:Learninghadoopetchadoopcore-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

加入如下内容到mapreduce 框架设置文件

b)  C:Learninghadoopetchadoopmapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

添加namenode 和 datanode 目录设置

代码100分c) C:Learninghadoopetchadoophdfs-site.xml

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
      <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///Learning/hadoop/data/namenode</value>
  </property>
      <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///Learning/hadoop/data/datanode</value>
  </property>
</configuration>

添加如下内容到Yarn配置文件

D:Learninghadoopetchadoopyarn-site.xml

<configuration>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>0.0.0.0</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///c:/Learning/hadoop/tmp</value>
    </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

</configuration>

设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。

e) C:Learninghadoopetchadoophadoop-env.cmd
显性设置JAVA_HOME
set JAVA_HOME=C:java64

3.2.3 下载配置Windows 环境需要的库文件

1. 安装 Visual C++ 2010 Redistributable Package (x64)： https://www.microsoft.com/en-us/download/details.aspx?id=14632

2. 把 winutils.exe 等 windows 需要的文件放到 C:Learninghadoopin 下面。

　　　　下载
https://github.com/yjy24/bigdata_learning 下面的bin 直接覆盖C:Learninghadoopin。

3. 把里面的 hadoop.dll 拷贝到 C:WindowsSystem32 一份

3.3 启动Hadoop

3.3.1 格式化 Hadoop namenode：

>hdfs namenode -format
 Log on scren when run successfully:
20/04/19 10:40:13 INFO common.Storage: Storage directory Learninghadoopdata
amenode has been successfully formatted.
20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Saving image file Learninghadoopdata
amenodecurrentfsimage.ckpt_0000000000000000000 using no compression
20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Image file Learninghadoopdata
amenodecurrentfsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds .
20/04/19 10:40:13 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
20/04/19 10:40:13 INFO namenode.NameNode: SHUTDOWN_MSG:

3.3.2 启动 Hadoop 所有的服务：

要用管理员身份运行，四个service窗口会打开运行，包括HDFS 的数据节点和 Yarn 管理器服务进程

C:Learninghadoopsbinstart-all.cmd

3.4 Open Hadoop GUI

完成以上步骤后，打开浏览器，导航到: http://localhost:8088/cluster，这里可以查看job的运行情况 log 信息。

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/8853.html

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

1. Java

2. WinRAR/7-ZIP

3. Hadoop

3. 1 Setup Environmental Variables

3.2 Edit Hadoop Configuration

注意：如果你不想自己配置下面 3.2 过程，除了3.2.3 其它的步骤可以忽略，那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！

3.2.1 新建data 目录和子目录

3.2.2 修改 Hadoop 配置文件

3.2.3 下载配置Windows 环境需要的库文件

3.3 启动Hadoop

3.3.1 格式化 Hadoop namenode：

3.3.2 启动 Hadoop 所有的服务：

3.4 Open Hadoop GUI

发表回复

安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂]

1. Java

2. WinRAR/7-ZIP

3. Hadoop

3. 1 Setup Environmental Variables

3.2 Edit Hadoop Configuration

注意：如果你不想自己配置下面 3.2 过程， 除了3.2.3 其它的步骤可以忽略， 那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！

3.2.1 新建data 目录和子目录

3.2.2 修改 Hadoop 配置文件

3.2.3 下载配置Windows 环境需要的库文件

3.3 启动Hadoop

3.3.1 格式化 Hadoop namenode：

3.3.2 启动 Hadoop 所有的服务：

3.4 Open Hadoop GUI

相关推荐

发表回复

注意：如果你不想自己配置下面 3.2 过程，除了3.2.3 其它的步骤可以忽略，那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！