Kubernetes 上手动部署 Prometheus

Kubernetes 上手动部署 Prometheus

我们知道监控是保证系统运行必不可少的功能，特别是对于 Kubernetes 这种比较庞大的系统来说，监控报警更是不可或缺，我们需要时刻了解系统的各种运行指标，也需要时刻了解我们的 Pod 的各种指标，更需要在出现问题的时候有报警信息通知到我们。

在早期的版本中 Kubernetes 提供了 heapster、influxDB、grafana 的组合来监控系统，在现在的版本中已经移除掉了 heapster，现在更加流行的监控工具是 Prometheus，Prometheus 是 Google 内部监控报警系统的开源版本，是 Google SRE 思想在其内部不断完善的产物，它的存在是为了更快和高效的发现问题，快速的接入速度，简单灵活的配置都很好的解决了这一切，而且是已经毕业的 CNCF 项目。

简介

google推出了很多产品，其中最著名的就是其广告系统和搜索引擎平台，为了运行这些产品就奠定一个平台叫brog，kubernetes很多设计都是借鉴于brog。brog的本质就是集群管理器，可以运行成千上万的不同应用程序组成的作业，同时也是可以跨越不同集群的。

Google在部署brog不久之后就意识到这种复杂性需要一个同等水平的监控系统，Google内部的SRE就建立了这个系统，然后将其命名为brogman，后来这个sre加入了soundcloud与另外一个工程师合作开发了一个项目，为这个项目命名为Prometheus，Prometheus前生就是brogman。

后来其他人员也加入了这个项目，并在soundcloud继续开发，在2015年发布。

Prometheus 最初是 SoundCloud 构建的开源系统监控和报警工具，是一个独立的开源项目，于2016年加入了 CNCF 基金会，作为继 Kubernetes 之后的第二个托管项目。Prometheus 相比于其他传统监控工具主要有以下几个特点：

具有由 metric 名称和键/值对标识的时间序列数据的多维数据模型有一个灵活的查询语言不依赖分布式存储，只和本地磁盘有关通过 HTTP 的服务拉取时间序列数据也支持推送的方式来添加时间序列数据还支持通过服务发现或静态配置发现目标多种图形和仪表板支持

Prometheus 由多个组件组成，但是其中有些组件是可选的：

​​Prometheus Server​​：用于抓取指标、存储时间序列数据​​exporter​​：暴露指标让任务来抓​​pushgateway​​：push 的方式将指标数据推送到该网关​​alertmanager​​​：处理报警的报警组件​​adhoc​​：用于数据查询

大多数 Prometheus 组件都是用 Go 编写的，因此很容易构建和部署为静态的二进制文件。下图是 Prometheus 官方提供的架构及其一些相关的生态系统组件：

prometheus architecture

整体流程比较简单，Prometheus 直接接收或者通过中间的 Pushgateway 网关被动获取指标数据，在本地存储所有的获取的指标数据，并对这些数据进行一些规则整理，用来生成一些聚合数据或者报警信息，Grafana 或者其他工具用来可视化这些数据。

常见部署方式

prometheus-operato r实际上就是在集群当中创建CRD，就可以去部署Prometheus以及其他的一些组件。

基于kube-Prometheus这个项目，包含了Prometheus-operator

基于operator也给出常用的实践，并且附带了其他配套常用的组件 。

yaml属于自定义，灵活一些，其他的都封装好了，直接拿来使用就行了。

安装

由于 Prometheus 是 Golang 编写的程序，所以要安装的话也非常简单，只需要将二进制文件下载下来直接执行即可，前往地址：下载最新版本即可。

Prometheus 是通过一个 YAML 配置文件来进行启动的，如果我们使用二进制的方式来启动的话，可以使用下面的命令：

$ ./prometheus --config.file=prometheus.yml

其中 ​​prometheus.yml​​ 文件的基本配置如下：

global: scrape_interval: 15s evaluation_interval: 15srule_files: # - "first.rules" # - "second.rules"scrape_configs: - job_name: prometheus static_configs: - targets: ['localhost:9090'] prometheus.yml: | global: scrape_interval: 15s scrape_timeout: 10s evaluation_interval: 1m rule_files: - /etc/prometheus/rules.yml alerting: alertmanagers: - static_configs: - targets: ["localhost:9093"] scrape_configs: - job_name: 'kubernetes-node

上面这个配置文件中包含了3个模块：​​global​​​、​​rule_files​​​ 和 ​​scrape_configs​​。

​​global​​​ 模块控制 ​​Prometheus Server​​ 的全局配置：

​​scrape_interval​​：表示 prometheus 抓取指标数据的频率，默认是15s，我们可以覆盖这个值​​evaluation_interval​​：用来控制评估规则的频率，prometheus 使用规则产生新的时间序列数据或者产生警报（设计到监控报警那一块，报警的话也会去写一些规则，也就是每隔15s会去检测我们的规则）scrape_timeout: Prometheus要去访问我们的抓取目标，很有可能因为网络原因，抓取的目标可能访问不到，默认是10s超时

​​rule_files​​：指定了报警规则所在的位置，prometheus 可以根据这个配置加载规则，用于生成新的时间序列数据或者报警信息，当前我们没有配置任何报警规则。​​scrape_configs​​ 用于控制 prometheus 监控哪些资源。

由于 prometheus 通过 HTTP 的方式来暴露的它本身的监控数据，prometheus 也能够监控本身的健康情况。在默认的配置里有一个单独的 job，叫做 prometheus，它采集 prometheus 服务本身的时间序列数据。这个 job 包含了一个单独的、静态配置的目标：监听 localhost 上的 9090 端口。prometheus 默认会通过目标的 ​​/metrics​​​ 路径采集 metrics。所以，默认的 job 通过 URL：​​metrics。收集到的时间序列包含 prometheus 服务本身的状态和性能。如果我们还有其他的资源需要监控的话，直接配置在 ​​scrape_configs​​ 模块下面就可以了。

安装

由于我们这里是要运行在 Kubernetes 系统中，所以我们直接用 Docker 镜像的方式运行。这里我们使用的实验环境是基于 Kubernetes v1.22 版本，一共 3 个节点：

☸ ➜ kubectl get nodesNAME STATUS ROLES AGE VERSIONmaster1 Ready control-plane,master 49d v1.22.2node1 Ready 49d v1.22.2node2 Ready 49d v1.22.2

为了方便管理，我们将监控相关的所有资源对象都安装在 ​​kube-mon​​ 这个 namespace 下面，没有的话可以提前创建：

☸ ➜ kubectl create ns kube-mon

为了能够方便的管理配置文件，我们这里将 ​​prometheus.yml​​​ 配置文件用 ​​ConfigMap​​ 的形式进行管理：

# config.yamlapiVersion: v1kind: ConfigMapmetadata: name: prometheus-config namespace: kube-mondata: prometheus.yml: | global: scrape_interval: 15s scrape_timeout: 15s scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090']

我们这里暂时只配置了对 prometheus 本身的监控，直接创建该资源对象：

☸ ➜ kubectl apply -f "prometheus-config" created

配置文件创建完成了，以后如果我们有新的资源需要被监控，我们只需要将上面的 ConfigMap 对象更新即可。现在我们来创建 prometheus 的 Pod 资源：

# prometheus-deploy.yamlapiVersion: apps/v1kind: Deploymentmetadata: name: prometheus namespace: kube-mon labels: app: prometheusspec: selector: matchLabels: app: prometheus template: metadata: labels: app: prometheus spec: serviceAccountName: prometheus containers: - image: prom/prometheus:v2.31.1 name: prometheus args: - "--config.file=/etc/prometheus/prometheus.yml" - "--storage.tsdb.path=/prometheus" # 指定tsdb数据路径 - "--storage.tsdb.retention.time=24h" - "--web.enable-admin-api" # 控制对admin HTTP API的访问，其中包括删除时间序列等功能 - "--web.enable-lifecycle" # 支持热更新，直接执行localhost:9090/-/reload立即生效 ports: - containerPort: 9090 name: volumeMounts: - mountPath: "/etc/prometheus" name: config-volume - mountPath: "/prometheus" name: data resources: requests: cpu: 200m memory: 1024Mi limits: cpu: 200m memory: 1024Mi volumes: - name: data persistentVolumeClaim: claimName: prometheus-data - configMap: name: prometheus-config name: config-volume

重要参数详解 Prometheus有几个标志，允许配置本地存储。 最重要的是：

--storage.tsdb.path：这决定了Prometheus写入数据库的位置。 默认为data/。--storage.tsdb.retention.time：这决定了何时删除旧数据。 默认为15d。 如果此标志设置为默认值以外的任何值，则覆盖storage.tsdb.retention。--storage.tsdb.retention.size：[EXPERIMENTAL]这确定了存储块可以使用的最大字节数（请注意，这不包括WAL大小，这可能很大）。 最早的数据将被删除。 默认为0或禁用。 此标志是实验性的，可以在将来的版本中进行更改。 支持的单位：KB，MB，GB，PB。 例如：“512MB”--storage.tsdb.retention：不推荐使用此标志，而使用storage.tsdb.retention.time。平均而言，Prometheus每个样本仅使用大约1-2个字节。 因此，要规划Prometheus服务器的容量，您可以使用粗略的公式：

needed_disk_space = retention_time_seconds * ingested_samples_per_second * bytes_per_sample

要调整每秒摄取样本的速率，您可以减少抓取的时间序列数（每个目标的目标更少或更少的系列），或者可以增加刮擦间隔。然而，由于一系列样品的压缩，减少系列数可能更有效。

如果您的本地存储因任何原因而损坏，最好的办法是关闭Prometheus并删除整个存储目录。 Prometheus的本地存储不支持非POSIX兼容的文件系统，可能会发生损坏，无法恢复。 NFS只是潜在的POSIX，大多数实现都不是。您可以尝试删除单个块目录以解决问题，这意味着每个块目录丢失大约两个小时的数据时间窗口。同样，普罗米修斯的本地存储并不意味着持久的长期存储。

如果同时指定了时间和大小保留策略，则在该时刻将使用先触发的策略。

另外为了 prometheus 的性能和数据持久化我们这里是直接将通过一个 LocalPV 来进行数据持久化的，注意一定不能使用 nfs 来持久化数据（目前Prometheus是不支持NFS的，当pod重建之后，数据很有可能被损坏，测试环境可以使用nfs临时来测试，但是线上生产环境一定不要使用），通过 ​​--storage.tsdb.path=/prometheus​​ 指定数据目录，创建如下所示的一个 PVC 资源对象，注意是一个 LocalPV，和 node2 节点具有亲和性：

apiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: local-storageprovisioner: kubernetes.io/no-provisionervolumeBindingMode: WaitForFirstConsumer---apiVersion: v1kind: PersistentVolumemetadata: name: prometheus-local labels: app: prometheusspec: accessModes: - ReadWriteOnce capacity: storage: 20Gi storageClassName: local-storage local: path: /data/k8s/prometheus persistentVolumeReclaimPolicy: Retain nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - node2---apiVersion: v1kind: PersistentVolumeClaimmetadata: name: prometheus-data namespace: kube-monspec: selector: matchLabels: app: prometheus accessModes: - ReadWriteOnce resources: requests: storage: 20Gi storageClassName: local-storage

由于 prometheus 可以访问 Kubernetes 的一些资源对象，所以需要配置 rbac 相关认证，这里我们使用了一个名为 prometheus 的 serviceAccount 对象：

# rbac.yamlapiVersion: v1kind: ServiceAccountmetadata: name: prometheus namespace: kube-mon---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: prometheusrules: - apiGroups: - "" resources: - nodes - services - endpoints - pods - nodes/proxy verbs: - get - list - watch - apiGroups: - "extensions" resources: - ingresses verbs: - get - list - watch - apiGroups: - "" resources: - configmaps - nodes/metrics verbs: - get - nonResourceURLs: - /metrics verbs: - get---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: prometheusroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: prometheussubjects: - kind: ServiceAccount name: prometheus namespace: kube-mon

☸ ➜ kubectl apply -f "prometheus" createdclusterrole.rbac.authorization.k8s.io "prometheus" createdclusterrolebinding.rbac.authorization.k8s.io "prometheus" created

现在我们就可以添加 promethues 的资源对象了：

☸ ➜ kubectl apply -f created☸ ➜ kubectl get pods -n kube-monNAME READY STATUS RESTARTS AGEprometheus-df4f47d95-vksmc 0/1 CrashLoopBackOff 3 98s☸ ➜ kubectl logs -f prometheus-df4f47d95-vksmc -n kube-monlevel=info ts=2019-12-12T03:08:49.424Z caller=main.go:332 msg="Starting Prometheus" version="(version=2.14.0, branch=HEAD, revision=edeb7a44cbf745f1d8be4ea6f215e79e651bfe19)"level=info ts=2019-12-12T03:08:49.424Z caller=main.go:333 build_context="(go=go1.13.4, user=root@df2327081015, date=20191111-14:27:12)"level=info ts=2019-12-12T03:08:49.425Z caller=main.go:334 host_details="(Linux 3.10.0-1062.4.1.el7.x86_64 #1 SMP Fri Oct 18 17:15:30 UTC 2019 x86_64 prometheus-df4f47d95-vksmc (none))"level=info ts=2019-12-12T03:08:49.425Z caller=main.go:335 fd_limits="(soft=1048576, hard=1048576)"level=info ts=2019-12-12T03:08:49.425Z caller=main.go:336 vm_limits="(soft=unlimited, hard=unlimited)"level=error ts=2019-12-12T03:08:49.425Z caller=query_logger.go:85 component=activeQueryTracker msg="Error opening query log file" file=/prometheus/queries.active err="open /prometheus/queries.active: permission denied"panic: Unable to create mmap-ed active query loggoroutine 1 [running]:github.com/prometheus/prometheus/promql.NewActiveQueryTracker(0x7ffd8cf6ec5d, 0xb, 0x14, 0x2b4f400, 0xc0006f33b0, 0x2b4f400) /app/promql/query_logger.go:115 +0x48cmain.main() /app/cmd/prometheus/main.go:364 +0x5229

创建 Pod 后，我们可以看到并没有成功运行，出现了 ​​open /prometheus/queries.active: permission denied​​​ 这样的错误信息，这是因为我们的 prometheus 的镜像中是使用的 nobody 这个用户，然后现在我们通过 LocalPV 挂载到宿主机上面的目录的 ​​ownership​​​ 却是 ​​root​​：

☸ ➜ ls -la /data/k8stotal 36drwxr-xr-x 6 root root 4096 Dec 12 11:07 .dr-xr-xr-x. 19 root root 4096 Nov 9 23:19 ..drwxr-xr-x 2 root root 4096 Dec 12 11:07 prometheus

所以当然会出现操作权限问题了，这个时候我们就可以通过 ​​securityContext​​​ 来为 Pod 设置下 volumes 的权限，通过设置 ​​runAsUser=0​​ 指定运行的用户为 root，也可以通过设置一个 initContainer 来修改数据目录权限：

......initContainers:- name: fix-permissions image: busybox command: [chown, -R, "nobody:nobody", /prometheus] volumeMounts: - name: data mountPath: /prometheus

这个时候我们重新更新下 prometheus：

☸ ➜ kubectl apply -f configured☸ ➜ kubectl get pods -n kube-monNAME READY STATUS RESTARTS AGEprometheus-649968556c-t4prd 1/1 Running 1 (14m ago) 27h☸ ➜ kubectl logs -f prometheus-649968556c-t4prd -n kube-monts=2021-12-15T06:55:25.752Z caller=main.go:444 level=info msg="Starting Prometheus" version="(version=2.31.1, branch=HEAD, revision=411021ada9ab41095923b8d2df9365b632fd40c3)"ts=2021-12-15T06:55:25.752Z caller=main.go:449 level=info build_context="(go=go1.17.3, user=root@9419c9c2d4e0, date=20211105-20:35:02)"ts=2021-12-15T06:55:25.752Z caller=main.go:450 level=info host_details="(Linux 3.10.0-1160.25.1.el7.x86_64 #1 SMP Wed Apr 28 21:49:45 UTC 2021 x86_64 prometheus-649968556c-t4prd (none))"ts=2021-12-15T06:55:25.752Z caller=main.go:451 level=info fd_limits="(soft=1048576, hard=1048576)"ts=2021-12-15T06:55:25.752Z caller=main.go:452 level=info vm_limits="(soft=unlimited, hard=unlimited)"ts=2021-12-15T06:55:25.756Z caller=web.go:542 level=info component=web msg="Start listening for connections" address=0.0.0.0:9090ts=2021-12-15T06:55:26.150Z caller=main.go:839 level=info msg="Starting TSDB ..."......ts=2021-12-15T06:55:27.048Z caller=main.go:869 level=info msg="TSDB started"ts=2021-12-15T06:55:27.048Z caller=main.go:996 level=info msg="Loading configuration file" filename=/etc/prometheus/prometheus.ymlts=2021-12-15T06:55:27.050Z caller=main.go:1033 level=info msg="Completed loading of configuration file" filename=/etc/prometheus/prometheus.yml totalDuration=1.555486ms db_storage=754ns remote_storage=38.847µs web_handler=433ns query_engine=852ns scrape=1.030952ms scrape_sd=73.933µs notify=894ns notify_sd=2.504µs rules=19.359µsts=2021-12-15T06:55:27.050Z caller=main.go:811 level=info msg="Server is ready to receive web requests."

Pod 创建成功后，为了能够在外部访问到 prometheus 的 webui 服务，我们还需要创建一个 Service 对象：

# prometheus-svc.yamlapiVersion: v1kind: Servicemetadata: name: prometheus namespace: kube-mon labels: app: prometheusspec: selector: app: prometheus type: NodePort ports: - name: web port: 9090 targetPort: ➜ kubectl apply -f "prometheus" created☸ ➜ kubectl get svc -n kube-monNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEprometheus NodePort 10.111.160.152 9090:30407/TCP 4m33s

现在我们就可以通过 ​​prometheus 的 webui 服务了：

现在我们可以查看当前监控系统中的一些监控目标（Status -> Targets）：

由于我们现在还没有配置任何的报警信息，所以 ​​Alerts​​​ 菜单下面现在没有任何数据，隔一会儿，我们可以去 ​​Graph​​ 菜单下面查看我们抓取的 prometheus 本身的一些监控数据了：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。