1、大数据 Hadoop配置和单机Hadoop系统配置

1、大数据 Hadoop配置和单机Hadoop系统配置大数据 Hadoop配置和单机Hadoop系统配置

1、大数据 Hadoop配置和单机Hadoop系统配置

#查看服务器ip
ip add
#设置主机名称
hostnamectl set-hostname master
bash
#查看
hostname
#绑定ip
vi /etc/hosts

添加

服务器IP地址 master

#查看ssh状态
systemctl status sshd

active (running)

#关闭防火墙
systemctl stop firewalld
#查看防火墙状态
systemctl status firewalld
#永久关闭防火墙
systemctl disable firewalld

创建hadoop用户并设置密码

安装jdk

vi /etc/profile
#环境变量
export JAVA_HOME=jdk安装根目录全路径
export PATH=$PATH:$JAVA_HOME/bin
#执行使生效
source /etc/profile
#查看是否可用
echo $JAVA_HOME
# 查看jdk安装
java -version

安装配置Hadoop环境

解压
vi /etc/profile
配置环境变量
# HADOOP_HOME 指向 JAVA 安装目录
export HADOOP_HOME=hadoop安装根目录全路径
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#执行使生效
source /etc/profile
#检查
hadoop
#修改目录所有者和组
chown -R hadoop:hadoop 安装目录全路径

安装单机hadoop系统

进入hadoop根目录

vi etc/hadoop/hadoop-env.sh

查找export JAVA_HOME修改等号后面为jdk路径

进入hadoop用户

创建imput目录

写一个统计文件,测试 MapReduce 运行

hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar  wordcount  ~/input/data.txt ~/output

查看输出目录

查看输出目录下part-r-00000文件

递归删除输出目录

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6154.html

(0)
上一篇 2023-04-16
下一篇 2023-04-16

相关推荐

  • Python isupper方法:检测字符串是否由大写字母组成

    Python isupper方法:检测字符串是否由大写字母组成Python中的isupper()方法是一种用来检测字符串中所有字母是否都为大写字母的方法。
    如果字符串中的所有字母都是大写字母,则返回True,否则则返回False。该方法是Python中字符串类型的内置方法之一。

    2024-01-27
    114
  • 第16问:创建一张表时,MySQL 的统计表是如何变化的?[亲测有效]

    第16问:创建一张表时,MySQL 的统计表是如何变化的?[亲测有效]本文关键字: 统计表,debug 问题 我们知道在 MySQL 中创建一张表时,一些统计表会发生变化,比如:mysql/innodb_index_stats,会多出几行对新表的描述。 那么会变更几张…

    2023-03-25
    155
  • Python中elif的使用方法

    Python中elif的使用方法在Python中,codeelif/code语句用于多条件结构的判断,常与codeif/code语句搭配使用。

    2024-05-07
    64
  • 揭秘字节跳动云原生Spark History 服务 UIService「建议收藏」

    揭秘字节跳动云原生Spark History 服务 UIService「建议收藏」本文是字节跳动数据平台数据引擎SparkSQL团队针对 Spark History Server (SHS) 的优化实践分享。 文 | 字节跳动数据平台—数据引擎—SparkSQL团队 在字节跳动内部

    2023-05-09
    153
  • 爬虫入门指南

    爬虫入门指南爬虫(英文名称:Web crawler),又称网络爬虫、网络蜘蛛,是一种按照一定规则自动的抓取万维网信息的程序或者脚本。爬虫是搜索引擎的核心组成部分之一,用于对目标网站进行数据抓取、提取和处理,常用于大规模数据采集、更新、监测和分析。

    2024-09-07
    29
  • Python异常处理:使用try-except语句打印错误信息

    Python异常处理:使用try-except语句打印错误信息在Python编程中,当遇到错误的代码时,程序会抛出异常(Exception),这是一种传递错误信息的方式。异常处理(Exception Handling)是指程序针对异常情况采取的相应措施。如果不对异常进行适当的处理,程序会崩溃并停止运行。

    2024-03-03
    89
  • 用Python Tkinter创建用户界面

    用Python Tkinter创建用户界面Python作为一种流行的编程语言,能够应用于多种领域,包括科学计算、web开发以及桌面应用程序等。在本文中,我们将重点关注如何使用Python Tkinter库来创建自己的用户界面。Tkinter是Python的标准GUI库,可以利用它轻松创建各种桌面应用程序,无论是小型工具,还是复杂的应用程序。在本文中,我们将讨论Tkinter库本身的结构以及如何使用该库创建一个简单的应用程序。

    2024-01-12
    106
  • mysql(四)_数据库MySQL

    mysql(四)_数据库MySQL1.用python连接mysql实现登陆(存在sql注入危险) 2用python连接mysql实现登陆方式二(不存在sql注入危险) 3 利用python 在mysql插入数据(插) 4 利用pyth

    2022-12-29
    164

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注