1. 代码100分首页
  2. 代码基础

flume 安装_flume官方

小小码 • • 代码基础 • 阅读 163
一键激活最新全家桶

flume 安装_flume官方Flume的安装及使用 Flume的安装 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中

Flume的安装及使用

Flume的安装及使用

目录
  • Flume的安装及使用
    • Flume的安装
      • 1、上传至虚拟机，并解压
      • 2、重命名目录，并配置环境变量
      • 3、查看flume版本
      • 4、测试flume
      • 5、flume的使用

Flume的安装

1、上传至虚拟机，并解压

tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/

在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft

alias soft=”cd /usr/local/soft/”

2、重命名目录，并配置环境变量

mv apache-flume-1.9.0-bin/ flume-1.9.0
vim /etc/profile
source /etc/profile

3、查看flume版本

flume-ng version

[root@master soft]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9
[root@master soft]#

4、测试flume

  • 监控一个目录，将数据打印出来

    • 配置文件
    # 首先先给agent起一个名字 叫a1
# 分别给source channel sink取名字
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# 分别对source、channel、sink进行配置

# 配置source
# 将source的类型指定为 spooldir 用于监听一个目录下文件的变化
# 因为每个组件可能会出现相同的属性名称，所以在对每个组件进行配置的时候 
# 需要加上 agent的名字.sources.组件的名字.属性 = 属性值
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /root/data/
a1.sources.r1.fileSuffix = .ok
a1.sources.r1.fileHeader = true

# 给r1这个souces配置一个拦截器并取名为 i1
a1.sources.r1.interceptors = i1
# 将拦截器i1的类型设置为timestamp 会将处理数据的时间以毫秒的格式插入event的header中
# a1.sources.r1.interceptors.i1.type = timestamp
# 将拦截器i1的类型设置为regex_filter 会根据正则表达式过滤数据
a1.sources.r1.interceptors.i1.type = regex_filter
# 配置正则表达式
a1.sources.r1.interceptors.i1.regex = \d{3,6}
# excludeEvents = true 表示将匹配到的过滤，未匹配到的放行
a1.sources.r1.interceptors.i1.excludeEvents = true

# 配置sink
# 使用logger作为sink组件，可以将收集到数据直接打印到控制台
a1.sinks.k1.type = logger

# 配置channel
# 将channel的类型设置为memory，表示将event缓存在内存中
a1.channels.c1.type = memory

# 组装
# 将sources的channels属性指定为c1
a1.sources.r1.channels = c1

# 将sinks的channel属性指定为c1
a1.sinks.k1.channel = c1
    • 启动agent
    flume-ng agent -n a1 -f ./spoolingtest.conf -Dflume.root.logger=DEBUG,console
    • 新建/root/data目录
    mkdir /root/data
    • 在/root/data/目录下新建文件，输入内容，观察flume进程打印的日志
    # 随意在a.txt中加入一些内容
vim /root/data/a.txt

5、flume的使用

  • spoolingToHDFS.conf

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = spooldir 
a.sources.r1.spoolDir = /root/data 
a.sources.r1.fileHeader = true 
a.sources.r1.interceptors = i1 
a.sources.r1.interceptors.i1.type = timestamp
#指定sink的类型
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = /flume/data/dir1
# 指定文件名前缀
a.sinks.k1.hdfs.filePrefix = student
# 指定达到多少数据量写一次文件 单位：bytes
a.sinks.k1.hdfs.rollSize = 102400
# 指定多少条写一次文件
a.sinks.k1.hdfs.rollCount = 1000
# 指定文件类型为 流 来什么输出什么
a.sinks.k1.hdfs.fileType = DataStream
# 指定文件输出格式 为text
a.sinks.k1.hdfs.writeFormat = text
# 指定文件名后缀
a.sinks.k1.hdfs.fileSuffix = .txt

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1
    • 在 /root/data/目录下准备数据
    The Zen of Python, by Tim Peters

Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren"t special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you"re Dutch.
Now is better than never.
Although never is often better than *right* now.
If the implementation is hard to explain, it"s a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let"s do more of those!
    • 启动agent
    flume-ng agent -n a -f ./spoolingToHDFS.conf -Dflume.root.logger=DEBUG,console

  • hbaseLogToHDFS

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定exec的属性
a.sources.r1.type = exec 
a.sources.r1.command = tail -f /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log
#指定sink的类型
a.sinks.k1.type = hdfs
a.sinks.k1.hdfs.path = /flume/data/dir2
# 指定文件名前缀
a.sinks.k1.hdfs.filePrefix = hbaselog
# 指定达到多少数据量写一次文件 单位：bytes
a.sinks.k1.hdfs.rollSize = 102400
# 指定多少条写一次文件
a.sinks.k1.hdfs.rollCount = 1000
# 指定文件类型为 流 来什么输出什么
a.sinks.k1.hdfs.fileType = DataStream
# 指定文件输出格式 为text
a.sinks.k1.hdfs.writeFormat = text
# 指定文件名后缀
a.sinks.k1.hdfs.fileSuffix = .txt

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

  • hbaselogToHBase

    • 在hbase中创建log表
    create "log","cf1"
    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定exec的属性
a.sources.r1.type = exec 
a.sources.r1.command = cat /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log
#指定sink的类型
a.sinks.k1.type = hbase
a.sinks.k1.table = log
a.sinks.k1.columnFamily = cf1

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 100000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

  • netcatLogger

    监听telnet端口

    • 安装telnet
    yum install telnet
    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定netcat的属性
a.sources.r1.type = netcat 
a.sources.r1.bind = 0.0.0.0 
a.sources.r1.port = 8888 

#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

    • 启动

      • 先启动agent
      flume-ng agent -n a -f ./netcatToLogger.conf -Dflume.root.logger=DEBUG,console
      • 在启动telnet
      telnet master 8888

  • httpToLogger

    • 配置文件
    # a表示给agent命名为a
# 给source组件命名为r1
a.sources = r1
# 给sink组件命名为k1
a.sinks = k1 
# 给channel组件命名为c1
a.channels = c1
#指定http的属性
a.sources.r1.type = http
a.sources.r1.port = 6666 

#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
# 表示sink每次会从channel里取多少数据
a.channels.c1.transactionCapacity = 100
# 组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

    • 启动

      • 先启动agent
      flume-ng agent -n a -f ./httpToLogger.conf -Dflume.root.logger=DEBUG,console
      • 再使用curl发起一个http请求
      curl -X POST -d "[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]" http://master:666

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/5772.html

赞 (0)
小小码小小码
0 0
上一篇 2023-04-25
下一篇 2023-04-25

相关推荐

  • (二)《SQL进阶教程》学习记录-「终于解决」 代码基础

    (二)《SQL进阶教程》学习记录-「终于解决」

    (二)《SQL进阶教程》学习记录-「终于解决」GROUP BY、PARTITION BY，分组取前几条，分组完整记录，排名、排序

    小小码 小小码
    2023-04-27
    166
  • Python List 操作指南：快速掌握列表的增删改查 代码基础

    Python List 操作指南：快速掌握列表的增删改查

    Python List 操作指南：快速掌握列表的增删改查Python是一门非常强大的编程语言，其中列表(list)是其中尤为重要的数据结构之一。这篇文章将详细介绍Python列表的各个操作，包括增删改查操作。在本文结束时，你将对Python列表的各种操作了如指掌。

    admin admin
    2024-02-21
    127
  • 如何更新pip版本 代码基础

    如何更新pip版本

    如何更新pip版本pip是Python的官方包管理工具，它可以帮助用户安装、卸载和更新Python库。在这篇文章中，我将讨论几个问题，例如：如何更新pip版本、pip更新命令、如何更新pip的版本、从pip更新Python版本、Anaconda更新pip版本、cmd怎么更新pip版本、更新pip版本失败以及pip更新库指定版本等问题。

    admin admin
    2024-08-05
    29
  • Redis学习笔记（七） 数据库[通俗易懂] 代码基础

    Redis学习笔记（七） 数据库[通俗易懂]

    Redis学习笔记（七） 数据库[通俗易懂]Redis 服务器将所有的数据库都保存在服务器状态redisServer结构的db数组中，db数组的每个项都是一个redisDB： struct redisServer{ //一个数组保存着服务器中的

    小小码 小小码
    2023-02-28
    150
  • Python命令行参数解析工具 代码基础

    Python命令行参数解析工具

    Python命令行参数解析工具在Python中，我们通常需要对命令行输入的参数进行解析，以便程序可以根据用户提供的参数执行相应的操作。手动编写参数解析代码既困难又容易出错，因此使用命令行参数解析工具可以方便的处理这些任务。

    admin admin
    2023-12-05
    121
  • 自学SQL网题目解答与笔记[亲测有效] 代码基础

    自学SQL网题目解答与笔记[亲测有效]

    自学SQL网题目解答与笔记[亲测有效]SELECT 查询 101 Id Title Director Year Length_minutes 1 Toy Story John Lasseter 1995 81 2 A Bug's

    小小码 小小码
    2023-05-19
    133
  • mysql crash recovery_MySQL 锁 代码基础

    mysql crash recovery_MySQL 锁

    mysql crash recovery_MySQL 锁本文首发于 vivo互联网技术 微信公众号 链接：https://mp.weixin.qq.com/s/5i9wmJs4_Er7RaYfNnETyA 作者：xieweipeng MySQL作为当下最…

    小小码 小小码
    2023-03-04
    161
  • MongoDB(八)：索引[通俗易懂] 代码基础

    MongoDB(八)：索引[通俗易懂]

    MongoDB(八)：索引[通俗易懂]1. 索引 索引支持查询的有效地提高效率。没有索引，MongoDB必须扫描集合的每个文档，以选择与查询语句匹配的文档。这种扫描效率很低，需要MongoDB处理大量的数据。 索引是特殊的数据结构，以易于

    小小码 小小码
    2022-12-28
    145

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注