大家好,我是考100分的小小码 ,祝大家学习进步,加薪顺利呀。今天说一说Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂],希望您对编程的造诣更进一步.
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图1 Druid入门(1)—— 快速入门实时分析利器-Druid_0.17](/wp-content/themes/justnews/themer/assets/images/lazy.png)
一、安装准备
本次安装的版本是截止2020.1.30最新的版本0.17.0
软件要求
-
需要Java 8(8u92 +)以上的版本,否则会有问题
-
Linux,Mac OS X或其他类似Unix的操作系统(不支持Windows)
硬件要求
Druid包括一组参考配置和用于单机部署的启动脚本:
nano-quickstartmicro-quickstartsmallmediumlargexlarge
单服务器参考配置
Nano-Quickstart:1个CPU,4GB RAM
- 启动命令:
bin/start-nano-quickstart - 配置目录:
conf/druid/single-server/nano-quickstart
微型快速入门:4个CPU,16GB RAM
- 启动命令:
bin/start-micro-quickstart - 配置目录:
conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(〜i3.2xlarge)
- 启动命令:
bin/start-small - 配置目录:
conf/druid/single-server/small
中:16 CPU,128GB RAM(〜i3.4xlarge)
- 启动命令:
bin/start-medium - 配置目录:
conf/druid/single-server/medium
大型:32 CPU,256GB RAM(〜i3.8xlarge)
- 启动命令:
bin/start-large - 配置目录:
conf/druid/single-server/large
大型X:64 CPU,512GB RAM(〜i3.16xlarge)
-
启动命令:
bin/start-xlarge -
配置目录:
conf/druid/single-server/xlarge
我们这里做测试使用选择最低配置即可nano-quickstart
二、下载安装包
访问官网:
http://druid.io/现在也会跳转https://druid.apache.org/
或者直接访问https://druid.apache.org/
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图3 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
点击download进入下载页面:
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图5 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
选择最新版本: apache-druid-0.17.0-bin.tar.gz 进行下载
200多M
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图7 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
也可以选择下载源码包 用maven进行编译
三、安装
上传安装包
在终端中运行以下命令来安装Druid:
tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0
代码100分
安装包里有这几个目录:
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图9 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
LICENSE和NOTICE文件bin/*-脚本conf/*-单服务器和集群设置的示例配置extensions/*-扩展hadoop-dependencies/*-Druid Hadoop依赖lib/*-Druid库quickstart/*-快速入门教程的配置文件,样本数据和其他文件
配置文件
代码100分#进入我们要启动的配置文件位置:
cd conf/druid/single-server/nano-quickstart/
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图11 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
_common 公共配置
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图13 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
是druid一些基本的配置,比如元数据库地址 各种路径等等
其他的是各个节点的配置
比较类似,比如broker
cd broker/
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图15 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
jvm配置
main配置
runtime运行时相关的配置
回到主目录
启动的conf在
代码100分cd conf/supervise/single-server
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图17 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
里面是不同配置启动不同的脚本
四、启动
回到主目录
./bin/start-nano-quickstart
启动成功:
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图19 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
访问
localhost:8888
看到管理页面
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图21 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
如果要修改端口,需要修改配置的端口和主目录下的
vi bin/verify-default-ports
五、加载数据
Druid提供了一个示例数据文件,其中包含2015年9月12日发生的Wiki的示例数据。
此样本数据位于quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz
示例数据大概是这样:
{
"timestamp":"2015-09-12T20:03:45.018Z",
"channel":"#en.wikipedia",
"namespace":"Main",
"page":"Spider-Man's powers and equipment",
"user":"foobar",
"comment":"/* Artificial web-shooters */",
"cityName":"New York",
"regionName":"New York",
"regionIsoCode":"NY",
"countryName":"United States",
"countryIsoCode":"US",
"isAnonymous":false,
"isNew":false,
"isMinor":false,
"isRobot":false,
"isUnpatrolled":false,
"added":99,
"delta":99,
"deleted":0,
}
Druid加载数据分为以下几种:
- 加载文件
- 从kafka中加载数据
- 从hadoop中加载数据
- 自定义加载方式
我们这样演示一下加载示例文件数据
1、进入localhost:8888 点击load data
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图23 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
2、选择local disk
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图25 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
3、选择Connect data
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图27 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
4、预览数据
Base directory输入quickstart/tutorial/
File filter输入 wikiticker-2015-09-12-sampled.json.gz
然后点击apply预览 就可以看见数据了 点击Next:parse data解析数据
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图29 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
5、解析数据
可以看到json数据已经被解析了 继续解析时间
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图31 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
6、解析时间
解析时间成功 之后两步是transform和filter 这里不做演示了 直接next
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图33 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
7、确认Schema
这一步会让我们确认Schema 可以做一些修改
由于数据量较小 我们直接关掉Rollup 直接下一步
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图35 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
8、设置分段
这里可以设置数据分段 我们选择hour next
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图37 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
9、确认发布
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图39 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图41 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
10、发布成功 开始解析数据
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图43 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
等待任务成功
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图45 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
11、查看数据
选择datasources 可以看到我们加载的数据
可以看到数据源名称 Fully是完全可用 还有大小等各种信息
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图47 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
12、查询数据
点击query按钮
我们可以写sql查询数据了 还可以将数据下载
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图49 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
Druid相关博文
静下心来,努力的提升自己,永远都没有错。更多实时计算相关博文,欢迎关注实时流式计算
![Druid入门(1)—— 快速入门实时分析利器-Druid_0.17[通俗易懂]插图51 file](/wp-content/themes/justnews/themer/assets/images/lazy.png)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/10033.html