Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]

Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]一、安装准备 本次安装的版本是截止2020.1.30最新的版本0.17.0 软件要求 需要 Java 8(8u92 +) 以上的版本,否则会有问题 Linux,Mac OS X或其他类似Unix的操作

Druid入门(1)—— 快速入门实时分析利器-Druid_0.17

一、安装准备

本次安装的版本是截止2020.1.30最新的版本0.17.0

软件要求

  • 需要Java 8(8u92 +)以上的版本,否则会有问题

  • Linux,Mac OS X或其他类似Unix的操作系统(不支持Windows)

硬件要求

Druid包括一组参考配置和用于单机部署的启动脚本:

  • nano-quickstart
  • micro-quickstart
  • small
  • medium
  • large
  • xlarge

单服务器参考配置

Nano-Quickstart:1个CPU,4GB RAM
  • 启动命令: bin/start-nano-quickstart
  • 配置目录: conf/druid/single-server/nano-quickstart
微型快速入门:4个CPU,16GB RAM
  • 启动命令: bin/start-micro-quickstart
  • 配置目录: conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(〜i3.2xlarge)
  • 启动命令: bin/start-small
  • 配置目录: conf/druid/single-server/small
中:16 CPU,128GB RAM(〜i3.4xlarge)
  • 启动命令: bin/start-medium
  • 配置目录: conf/druid/single-server/medium
大型:32 CPU,256GB RAM(〜i3.8xlarge)
  • 启动命令: bin/start-large
  • 配置目录: conf/druid/single-server/large
大型X:64 CPU,512GB RAM(〜i3.16xlarge)
  • 启动命令: bin/start-xlarge

  • 配置目录: conf/druid/single-server/xlarge

我们这里做测试使用选择最低配置即可nano-quickstart

二、下载安装包

访问官网:

http://druid.io/现在也会跳转https://druid.apache.org/

或者直接访问https://druid.apache.org/

file

点击download进入下载页面:

file

选择最新版本: apache-druid-0.17.0-bin.tar.gz 进行下载

200多M

file

也可以选择下载源码包 用maven进行编译

三、安装

上传安装包

在终端中运行以下命令来安装Druid:

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

代码100分

安装包里有这几个目录:

file

  • LICENSENOTICE文件
  • bin/* -脚本
  • conf/* -单服务器和集群设置的示例配置
  • extensions/* -扩展
  • hadoop-dependencies/* -Druid Hadoop依赖
  • lib/* -Druid库
  • quickstart/* -快速入门教程的配置文件,样本数据和其他文件

配置文件

代码100分#进入我们要启动的配置文件位置:
cd conf/druid/single-server/nano-quickstart/

file

_common 公共配置

file

是druid一些基本的配置,比如元数据库地址 各种路径等等

其他的是各个节点的配置

比较类似,比如broker

cd broker/

file

jvm配置

main配置

runtime运行时相关的配置

回到主目录

启动的conf在

代码100分cd conf/supervise/single-server

file

里面是不同配置启动不同的脚本

四、启动

回到主目录

./bin/start-nano-quickstart

启动成功:

file

访问

localhost:8888

看到管理页面

file

如果要修改端口,需要修改配置的端口和主目录下的

vi bin/verify-default-ports 

五、加载数据

Druid提供了一个示例数据文件,其中包含2015年9月12日发生的Wiki的示例数据。

此样本数据位于quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例数据大概是这样:

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加载数据分为以下几种:

  • 加载文件
  • 从kafka中加载数据
  • 从hadoop中加载数据
  • 自定义加载方式

我们这样演示一下加载示例文件数据

1、进入localhost:8888 点击load data

file

2、选择local disk

file

3、选择Connect data

file

4、预览数据

Base directory输入quickstart/tutorial/

File filter输入 wikiticker-2015-09-12-sampled.json.gz

然后点击apply预览 就可以看见数据了 点击Next:parse data解析数据

file

5、解析数据

可以看到json数据已经被解析了 继续解析时间

file

6、解析时间

解析时间成功 之后两步是transform和filter 这里不做演示了 直接next

file

7、确认Schema

这一步会让我们确认Schema 可以做一些修改

由于数据量较小 我们直接关掉Rollup 直接下一步

file

8、设置分段

这里可以设置数据分段 我们选择hour next

file

9、确认发布

file

file

10、发布成功 开始解析数据

file

等待任务成功

file

11、查看数据

选择datasources 可以看到我们加载的数据

可以看到数据源名称 Fully是完全可用 还有大小等各种信息

file

12、查询数据

点击query按钮

我们可以写sql查询数据了 还可以将数据下载

file

Druid相关博文

什么是Druid

静下心来,努力的提升自己,永远都没有错。更多实时计算相关博文,欢迎关注实时流式计算

file

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10033.html

(0)
上一篇 2023-01-27
下一篇 2023-01-27

相关推荐

  • mysql中union与union all的区别[通俗易懂]

    mysql中union与union all的区别[通俗易懂] UNION用的比较多union all是直接连接,取到得是所有值,记录可能有重复 union 是取唯一值,记录没有重复 1、UNION 的语法如下: [SQL 语句 1] UNION [SQ…

    2023-03-30
    168
  • 用Python编写JSON

    用Python编写JSONJSON(JavaScript Object Notation)是一种轻量级的数据交换格式,易于人和机器阅读,并且易于编写和解析。Python作为一种具有强大处理数据能力的语言,有很多内置方法处理JSON数据,同时也有很多第三方模块支持JSON数据的处理。

    2024-07-19
    33
  • 前端必读书_前端阅读

    前端必读书_前端阅读的确,有些标题党了。起因是微信群里,有哥们问我,你是怎么学习前端的呢?能不能共享一下学习方法。一句话也挺触动我的,我真的不算是什么大佬,对于学习前端知识,我也不能说是掌握了什么捷径。当然,我个人的学习方法这篇文章已经在写了,预计这周末会在我个人公众号发布。而在此之前,我想展(g…

    2023-03-02
    143
  • Python基础:使用def定义函数来实现复用,提高代码可维护性

    Python基础:使用def定义函数来实现复用,提高代码可维护性在编写Python程序的过程中,我们都会遇到需要重复使用的代码块。为了防止代码重复,Python提供了函数来完成这项任务。在本文中,我们将探讨如何使用def定义函数来实现代码复用和提高代码可维护性。

    2023-12-11
    121
  • 包含运行python脚本时出现no的词条

    包含运行python脚本时出现no的词条最近跑python脚本时总报错这一个错误:

    2023-10-27
    137
  • [20191213]toad 12下BIND_AWARE提示无效.txt

    [20191213]toad 12下BIND_AWARE提示无效.txt[20191213]toad 12下BIND_AWARE提示无效.txt–//链接http://blog.itpub.net/267265/viewspace-2130781/的测试,发现当时测试的

    2022-12-26
    139
  • mysql索引设置怎么实现的_MySQL索引失效

    mysql索引设置怎么实现的_MySQL索引失效1.Memory用的是hash index,但是InnoDB和MyISAM用的是B+树,不用二叉树的原因就是深度可能过深,深度过深影响查询和IO性能; 2.索引使用树的过程: BST:二分查找,不平…

    2023-03-19
    157
  • Mysql Explain详解「建议收藏」

    Mysql Explain详解「建议收藏」Explain简介 本文主要讲述如何通过 explain 命令获取 select 语句的执行计划,通过 explain 我们可以知道以下信息:表的读取顺序,数据读取操作的类型,哪些索引可以使用,哪些…

    2023-03-03
    153

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注