3、环境搭建-Linux上hadoop的全分布配置[通俗易懂]

3、环境搭建-Linux上hadoop的全分布配置[通俗易懂]大数据 Hadoop全分布 配置文件配置

3、环境搭建-Linux上hadoop的全分布配置

安装配置hadoop和jdk

配置/usr/local/src/hadoop/etc/hadoop/下的四个文件

hdfs-site.xml
<configuration>
 <property>
  <!-- DFS的名称节点在本地文件系统位置 -->
 <name>dfs.namenode.name.dir</name>
 <value>file:/usr/local/src/hadoop/dfs/name</value>
 </property>
 <property>
  <!-- DFS数据节点在本地文件系统位置 -->
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/local/src/hadoop/dfs/data</value>
 </property>
 <property>
  <!-- 缺省的块复制数量 -->
 <name>dfs.replication</name>
 <value>3</value>
 </property>
</configuration>
core-site.xml
<configuration>
 <property>
     <!-- 文件系统主机和端口 -->
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.150.81:9000</value>
 </property>
 <property>
     <!-- 流文件缓冲区大小 -->
 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
 <property>、
     <!-- 临时文件夹 -->
 <name>hadoop.tmp.dir</name>
 <value>file:/usr/local/src/hadoop/tmp</value>
 </property>
</configuration>

mapred-site.xml
<configuration>
 <property>
 <!-- 取值local、classic或yarn,如果不是yarn则不使用yarn集群来实现资源分配 -->
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 <property>
     <!-- 历史服务器地址端口,通过其查询已完成的Mapreduce作业 -->
 <name>mapreduce.jobhistory.address</name>
 <value>master:10020</value>
 </property>
 <property>
     <!-- 历史服务器web应用访问地址和端口 -->
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>master:19888</value>
 </property>
</configuration>
yarn-site.xml
<configuration>
 <property>
     <!-- RM提供给客户端访问的地址,客户端通过其提交应用程序,杀死程序等 -->
 <name>yarn.resourcemanager.address</name>
 <value>master:8032</value>
 </property>
 <property>
     <!-- 定义历史服务器地址端口,通过其查看已完成的Mapreduce作业 -->
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>master:8030</value>
 </property>
 <property>
     <!-- RM提供给NodeManager的地址,NM通过其向RM汇报心跳,领取任务等 -->
 <name>yarn.resourcemanager.resource-tracker.address</name>
 <value>master:8031</value>
 </property>
 <property>
     <!-- RM提供给管理员的访问地址,管理员通过其向RM发送管理员命令 -->
 <name>yarn.resourcemanager.admin.address</name>
 <value>master:8033</value>
 </property>
 <property>
     <!-- RM对web服务提供的地址。用户通过其在浏览器中查看集群各类信息 -->
 <name>yarn.resourcemanager.webapp.address</name>
 <value>master:8088</value>
 </property>
 <property>
     <!-- 用户自定义服务,如Map-Reduce的shuffle功能,可以在NM上扩展自己的服务 -->
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
     <!-- 用户自定义扩展的Map-Reduce的shuffle功能 -->
 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
</configuration>

Haddop其他相关配置

在/usr/local/src/haddop/etc/haddop/目录下

vi masters
#添加master主机ip地址
vi slaves
#slave1主机ip
#slave2主机ip
新建目录
mkdir /usr/local/src/hadoop/tmp
mkdir /usr/local/src/hadoop/dfs/name -p
mkdir /usr/local/src/hadoop/dfs/data -p
修改目录权限
chown -R hadoop:hadoop /usr/local/src/hadoop/
同步配置文件到slave节点
scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/
在slave节点上设置hadoop环境变量
修改slave节点上目录权限
chown -R hadoop:hadoop /usr/local/src/hadoop/chown -R hadoop:hadoop /usr/local/src/hadoop/
切换回hadoop用户
执行source /etc/profile使配置的环境变量生效

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6147.html

(0)
上一篇 2023-04-16 14:00
下一篇 2023-04-16

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注