第03期:Prometheus 数据采集(二)

第03期:Prometheus 数据采集(二)本期作者:罗韦 爱可生上海研发中心成员,研发工程师,主要负责 DMP 平台监控告警功能的相关工作。 上篇文章(第02期:数据采集一)介绍了 Prometheus 数据采集的格式和分类,本文会对采集过…

第03期:Prometheus 数据采集(二)

第03期:Prometheus 数据采集(二)

本期作者:罗韦 爱可生上海研发中心成员,研发工程师,主要负责 DMP 平台监控告警功能的相关工作。


上篇文章(第02期:数据采集一)介绍了 Prometheus 数据采集的格式和分类,本文会对采集过程进行详细的介绍。

Prometheus 数据采集过程介绍

Prometheus 从采集数据到将存储的过程中,会对采集目标及数据样本作一系列处理。了解这个过程有利于帮助我们更充分、合理的使用可配参数。

一、文章中使用的概念简介

**target:**采集目标,Prometheus Server 会从这些目标设备上采集监控数据 sample: Prometheus Server 从 targets 采集回来的数据样本 meta label: 执行 relabel 前,target 的原始标签。可在 Prometheus 的 /targets 页面或发送 GET /api/v1/targets 请求查看。

二、数据采集流程

第03期:Prometheus 数据采集(二)

2.1 relabel (targets 标签修改/过滤)

relabel 是 Prometheus 提供的一个针对 target 的功能,relabel 发生 Prometheus Server 从 target 采集数据之前,可以对 target 的标签进行修改或者使用标签进行 target 筛选。注意以下几点:

  • Prometheus 在 relabel 步骤默认会为 target 新增一个名为 instance 的标签,并设置成 “address” 标签的值;
  • 在 relabel 结束后,以 “__” 开头的标签不会被存储到磁盘;
  • meta label 会一直保留在内存中,直到 target 被移除。

在 Prometheus 的 targets 页面,可以看到 target 在 relabel 之前的标签,如下图所示,在 relabel 之前,target 的标签有:”address“,”metrics_path“,”schema“,”job”。经过 relabel 之后我们最终看到的 targets 的标签为:instance、job。

第03期:Prometheus 数据采集(二)

2.2 relabel 配置

relabel 的基本配置项:

  • source_labels: [<labelname>, …] #需要进行 relabel 操作的 meta labels
  • target_label: <labelname> #relabel 操作的目标标签,当使用 action 为 “replace” 时会把替换的结果写入 target_label
  • regex: <regex> #正则表达式,用于在 source_labels 的标签值中提取匹配的内容。默认为”(.*)”
  • modulus: <uint64> #用于获取源标签值的哈希的模数
  • replacement: <string> #regex 可能匹配到多个内容,replacement 指定要使用哪一个匹配内容进行替换,默认为 “$1″,表示使用第一个匹配的内容
  • action: <relabel_action> #定义对 source_labels 进行何种操作,默认为 “replace”

下面举几个使用 relabel 配置的例子:

2.2.1 replace 修改标签

例 1. 继续使用上一个部署了两个 Prometheus 的环境,假如我们希望给 targets 添加一个 “host” 标签,内容取 “address” 的 host 部分,可以添加如下 relabel 配置:

scrape_configs:
  - job_name: prometheus
    relabel_configs:
     - source_labels: ["__address__"] #我们要替换的 meta label 为"__address__"
       target_label: "host" #给 targets 新增一个名为 "host" 的标签
       regex: "(.*):(.*)" #将匹配的内容分为两部分 groups--> (host):(port)
       replacement: $1 #将匹配的 host 第一个内容设置为新标签的值
       action: replace

代码100分

运行结果:

第03期:Prometheus 数据采集(二)

例 2. “metrics_path” 标签保存了 target 提供的 metrics 访问路径,默认情况下”metrics_path” 标签在 relabel 之后是会被移除的,但是我们又希望在查询 metrics 时能方便的看到这个采集端的 metrics 访问路径,那么可以使用 replace 将 “metrics_path” 标签替换成我们希望的标签,并保留 “metrics_path” 的值,配置可以简化如下:**

代码100分relabel_configs:
  - source_labels:  ["__metrics_path__"]    #我们要替换的 meta label 为 "__metrics_path__"
    target_label: "metrics_path"   #给 targets 新增一个名为 "metrics_path" 的标签

第03期:Prometheus 数据采集(二)

2.2.2 keep/drop 筛选 targets

例 3. 当需要过滤 target 时,可以将 action 项定义为 keep 或 drop。接着上面的例子我们再继续添加如下配置:

- source_labels:  ["host"]
   regex: "localhost"  #只保留 host 标签值为 "localhost" 的 targets
   action: keep

运行结果:在 targets 页面只剩下一个 target

第03期:Prometheus 数据采集(二) 第03期:Prometheus 数据采集(二)

三、scrape 拉取样本

Prometheus 通过 http 从 target 采集所有 metrics 的样本,http 路径可以通过下的 “metrics_path” 配置,默认为 “/metrics”。请求超时时间配置在下的 “scrape_timeout”,默认 10s,可根据网络状况作相应调整。标签的合法性也会在这个过程中检查。

3.1 honor label 冲突检查

Prometheus 会默认给 metric 添加一些标签,如 “job”、”instance”,或者某些配置项配置了一些特定标签,如果采集回来的时间序列也存在同名的标签,那冲突就产生了。下的 “honor_labels” 就是用来解决这样的场景的,如果 “honor_labels” 设置为 “true”,那么冲突标签的值会使用采集到的标签值;如果设置为 “false”,采集上来的冲突标签会被重命名:加上 “exported_” 前缀,如 “exported_job”、”exported_instance” 。

3.2 metric relabel(metric 标签重写)

metric_relabel 功能、配置和 relabel 类似,区别在于 metric_relabel 针对 sample 的标签,在 config 文件中的配置项为。metric_relabel 不支持 Prometheus 自动生成的时间序列,如”up”、”scrape_duration_seconds”、”scrape_samples_scraped”、”scrape_samples_post_metric_relabeling”、”scrape_series_added”等。通常用于过滤掉意义不大、或采集成本过高的时间序列。

3.3 save

经过一系列处理后,采集到的数据会被持久化保存,关于数据存储会在后续文章中介绍。

第03期:Prometheus 数据采集(二)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/7747.html

(0)
上一篇 2023-03-14 19:30
下一篇 2023-03-14

相关推荐

  • redis基本操作 —— set[通俗易懂]

    redis基本操作 —— set[通俗易懂]一、向集合添加一个或多个成员 命令:sadd 格式:sadd key member1 [member2] 127.0.0.1:6379> sadd set_key m1 (integer) 1

    2023-03-07
    143
  • python系列之循环定时器的简单介绍

    python系列之循环定时器的简单介绍方法/步骤

    2023-11-27
    115
  • Python多行输入实现

    Python多行输入实现在Python中实现多行输入是一项常见任务。多行输入通常用于读取用户输入的多行文本,或者读取包含多行文本的文件。Python提供了多种方法来实现多行输入,本文将阐述这些方法的优缺点,并提供代码示例,帮助读者更好地理解Python的多行输入实现。

    2024-08-31
    13
  • 第二天MySQL

    第二天MySQLSQL条件查询、排序查询、一些常见函数

    2023-02-24
    136
  • 启动Jupyter教程

    启动Jupyter教程Jupyter是一种交互式编程环境,能够支持多种编程语言。它通过网页浏览器的形式为用户提供了一个可交互、可编写和可共享的计算环境,同时还提供了数据可视化和文档编写等功能。Jupyter最初由Fernando Pérez教授和Brian Granger教授在2014年开发并开源,旨在提供一个易于操作的、可拓展性强的计算环境。

    2024-08-27
    13
  • Python中的time模块,用于时间相关操作

    Python中的time模块,用于时间相关操作Python中的time模块是一个非常实用的模块,它提供了用于获取当前时间、时间格式转换、计时等功能。time模块的使用涵盖了很多领域,包括系统与程序的时间操作、计时、调度等。

    2024-01-04
    100
  • 中国最权威的数据网站_数据网

    中国最权威的数据网站_数据网国际知名调研机构沙利文联合头豹研究院发布了《2021年中国分布式数据库市场报告》,报告显示:**腾讯云数据库入选Frost Radar (弗若斯特雷达)领导者象限,增长指数排名第一。**为帮助广大数据

    2023-05-20
    136
  • mysql数据库优化的几种方法_优化mysql数据库的8个方法

    mysql数据库优化的几种方法_优化mysql数据库的8个方法1、使用 show status 了解各种 SQL 的执行频率 该命令可以查询 sql 命令的执行次数。 2、定位执行效率较低的 SQL 语句 定位执行效率较低的 SQL 一般有两种方法: 1. 通过

    2023-01-28
    142

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注