大家好,我是考100分的小小码 ,祝大家学习进步,加薪顺利呀。今天说一说安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)[通俗易懂],希望您对编程的造诣更进一步.
1. Java
- 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java,在启动资源节点管理器时会出现错误
- Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:java64
- 安装完成后,使用“java -version”命令在命令行中确认运行了正确的版本
C:Users>java -version java version "1.8.0_251" Java(TM) SE Runtime Environment (build 1.8.0_251-b08) Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)
代码100分
2. WinRAR/7-ZIP
- 下载并安装WinRAR 64位版本,用来解压Windows上的Linux类型tar.gz包: http://www.rarlab.com/download.htm
- 或者使用7-zip: https://www.7-zip.org/download.html
3. Hadoop
- 解压并将文件夹名重命名为hadoop,并将其放在C:Learning
- 目录名字中间不要有空格(因为Hadoop初始开发基于linux, linux 文件名字不能有空格)。
3. 1 Setup Environmental Variables
添加以下目录到path变量:
3.2 Edit Hadoop Configuration
注意:如果你不想自己配置下面 3.2 过程, 除了3.2.3 其它的步骤可以忽略, 那么下载下面链接(bin data etc)文件夹放到你的hadoop目录下覆盖(https://github.com/yjy24/bigdata_learning ), 然后从3.2.3 开始继续!
3.2.1 新建data 目录和子目录
- c:/Learning/hadoop/data
- c:/Learning/hadoop/data/namenode
- c:/Learning/hadoop/data/datanode
3.2.2 修改 Hadoop 配置文件
- HDFS服务地址
代码100分a) C:Learninghadoopetchadoopcore-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- 加入如下内容到mapreduce 框架设置文件
b) C:Learninghadoopetchadoopmapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 添加namenode 和 datanode 目录设置
代码100分c) C:Learninghadoopetchadoophdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///Learning/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///Learning/hadoop/data/datanode</value> </property> </configuration>
- 添加如下内容到Yarn配置文件
D:Learninghadoopetchadoopyarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>0.0.0.0</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>file:///c:/Learning/hadoop/tmp</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
- 设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。
e) C:Learninghadoopetchadoophadoop-env.cmd 显性设置JAVA_HOME set JAVA_HOME=C:java64
3.2.3 下载配置Windows 环境需要的库文件
- 1. 安装 Visual C++ 2010 Redistributable Package (x64): https://www.microsoft.com/en-us/download/details.aspx?id=14632
- 2. 把 winutils.exe 等 windows 需要的文件放到 C:Learninghadoopin 下面。
https://github.com/yjy24/bigdata_learning 下面的bin 直接覆盖C:Learninghadoopin。
- 3. 把里面的 hadoop.dll 拷贝到 C:WindowsSystem32 一份
3.3 启动Hadoop
3.3.1 格式化 Hadoop namenode:
>hdfs namenode -format Log on scren when run successfully: 20/04/19 10:40:13 INFO common.Storage: Storage directory Learninghadoopdata amenode has been successfully formatted. 20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Saving image file Learninghadoopdata amenodecurrentfsimage.ckpt_0000000000000000000 using no compression 20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Image file Learninghadoopdata amenodecurrentfsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds . 20/04/19 10:40:13 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 20/04/19 10:40:13 INFO namenode.NameNode: SHUTDOWN_MSG:
3.3.2 启动 Hadoop 所有的服务:
- 要用管理员身份运行,四个service窗口会打开运行, 包括HDFS 的数据节点 和 Yarn 管理器服务进程
C:Learninghadoopsbinstart-all.cmd
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/8853.html