1、环境搭建-大数据 Hadoop配置和单机Hadoop系统配置

1、环境搭建-大数据 Hadoop配置和单机Hadoop系统配置大数据 Hadoop配置和单机Hadoop系统配置

1、环境搭建-大数据 Hadoop配置和单机Hadoop系统配置

#查看服务器ip
ip add
#设置主机名称
hostnamectl set-hostname master
bash
#查看
hostname
#绑定ip
vi /etc/hosts

添加

服务器IP地址 master

#查看ssh状态
systemctl status sshd

active (running)

#关闭防火墙
systemctl stop firewalld
#查看防火墙状态
systemctl status firewalld
#永久关闭防火墙
systemctl disable firewalld

创建hadoop用户并设置密码

安装jdk

vi /etc/profile
#环境变量
export JAVA_HOME=jdk安装根目录全路径
export PATH=$PATH:$JAVA_HOME/bin
#执行使生效
source /etc/profile
#查看是否可用
echo $JAVA_HOME
# 查看jdk安装
java -version

安装配置Hadoop环境

解压
vi /etc/profile
配置环境变量
# HADOOP_HOME 指向 JAVA 安装目录
export HADOOP_HOME=hadoop安装根目录全路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#执行使生效
source /etc/profile
#检查
hadoop
#修改目录所有者和组
chown -R hadoop:hadoop 安装目录全路径

安装单机hadoop系统

进入hadoop根目录

vi etc/hadoop/hadoop-env.sh

查找export JAVA_HOME修改等号后面为jdk路径

进入hadoop用户

创建imput目录

写一个统计文件,测试 MapReduce 运行

hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar  wordcount  ~/input/data.txt ~/output

查看输出目录

查看输出目录下part-r-00000文件

递归删除输出目录

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6144.html

(0)
上一篇 2023-04-16
下一篇 2023-04-16

相关推荐

  • Mac自带Python

    Mac自带PythonPython是一种简单易学、功能强大的编程语言,具有良好的可读性和高级抽象能力,广泛应用于Web开发、科学计算、数据分析、人工智能等领域。对于Mac电脑用户来说,使用Python也非常方便,因为Mac系统已经自带了Python解释器。

    2024-04-20
    69
  • Python中的字符串大写转换方法

    Python中的字符串大写转换方法在Python中,字符串是一种非常重要的数据类型,字符串的处理对于文本处理、字符串处理等方面非常重要。其中的一个方法就是将字符串中的字母全部转换为大写形式,这对于处理某些场景,例如文本匹配、数据清洗等会非常有用。在本文中我们将介绍Python中的字符串大写转换方法,让读者了解其用法,以提高代码的可读性和可维护性。

    2024-03-03
    91
  • Python实现数据库操作

    Python实现数据库操作数据库是现代信息化系统中不可或缺的一部分,它能够帮助我们高效地存储、管理和查询数据。Python是一种流行的编程语言,它提供了许多库和框架来简化数据库操作,帮助我们更快地开发出高效的数据应用。本文将从以下几个方面详细介绍Python实现数据库操作的方法和技巧。

    2023-12-27
    106
  • Python和MATLAB:数据分析和科学计算利器

    Python和MATLAB:数据分析和科学计算利器Python和MATLAB是两种常用的科学计算和数据处理工具。它们都有着强大的数学计算和数据分析能力,可以帮助人们在各种领域中解决复杂的问题和挑战。本文将从几个方面对Python和MATLAB进行比较分析,为读者提供一些决策参考。

    2024-03-05
    79
  • DBA入职指南学习笔记1「终于解决」

    DBA入职指南学习笔记1「终于解决」一、oracle安装学习 1、oracle认证方式 操作系统认证(本地登录)、用户名密码认证(远程登录) 2、oracle环境变量设置 PATH:sqlplus路径 ORACLE_HOME:orac…

    2023-03-26
    142
  • mysql操作进阶「建议收藏」

    mysql操作进阶「建议收藏」# ### part1 单表查询# sql 查询语句的完整语法 ''' select .. from .. where .. group by .. having .. ord

    2022-12-23
    124
  • 检查Python字符串是否以指定字符结尾

    检查Python字符串是否以指定字符结尾Python字符串提供了endsWith()方法来验证字符串是否以指定字符结尾。此方法通常用于检查文件名是否符合扩展名。

    2024-02-06
    86
  • 新特性解读 | 说说 MySQL 8 对于持久化变量的一些修改

    新特性解读 | 说说 MySQL 8 对于持久化变量的一些修改作者:姚嵩 爱可生南区交付服务部经理,爱好音乐,动漫,电影,游戏,人文,美食,旅游,还有其他。 虽然都很菜,但毕竟是爱好。 本文来源:原创投稿 *爱可生开源社区出品,原创内容未经授权不得随意使用,转…

    2023-03-14
    149

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注