利用Python开发Exporter，集成Prometheus和Grafana对进程监控
在现代软件开发和运维中，监控是确保系统稳定运行和快速响应问题的重要手段。Prometheus和Grafana的组合是监控领域的强大工具，它们能够收集、处理和展示各种指标数据。本文将介绍如何利用Python开发一个Exporter，通过Prometheus收集数据，并在Grafana中展示进程监控指标。
1. 环境准备
首先，确保你的环境中已经安装了Python、Prometheus和Grafana。以下是基本的安装步骤：
安装Python：Python的安装可以通过其官网下载并安装，确保版本为Python 3.x。
安装Prometheus：从Prometheus的GitHub发布页面下载对应操作系统的安装包，解压并配置。
安装Grafana：从Grafana的官网下载并安装Grafana。
2. Python Exporter开发
Exporter是Prometheus的一个组件，用于暴露监控数据给Prometheus。我们将使用Python的prometheus_client库来开发一个简单的Exporter，用于监控系统进程。
步骤1：安装三方库
在Python环境中安装prometheus_client、pyyaml、psutil库：
pip install prometheus_client
pip install pyyaml
pip install psutil
步骤2：编写Exporter脚本
创建一个Python脚本，用于收集系统进程的信息并暴露给Prometheus。
import psutil
import yaml
from prometheus_client import start_http_server, Gauge, Info
import time
from concurrent.futures import ThreadPoolExecutor# 读取YAML文件
def read_yaml(file_path):with open(file_path, 'r') as file:try:data = yaml.safe_load(file)return dataexcept yaml.YAMLError as e:print(e)# 获取进程数据
def print_process(pid):# 使用进程ID获取进程对象try:process = psutil.Process(pid)except psutil.NoSuchProcess:print(f"进程ID {pid} 不存在")time.sleep(1)return [-1, '进程不存在', 0, 0, 0]# 打印结果: 进程ID, 进程名称, CPU利用率, 内存, 内存占用率return [pid, process.name(), process.cpu_percent(interval=1), process.memory_info().rss, process.memory_percent()]# 使用函数
yaml_file_path = 'config.yml' # 替换为你的YAML文件路径
data = read_yaml(yaml_file_path)
pid_list = data['pid_list']# exporter信息
subprocess_exporter_info = Info('subprocess_exporter_info', '子进程监控基础信息')
subprocess_info = Gauge('subprocess_info', '子进程信息', ['pid', 'name'])
cpu_utilization = Gauge('cpu_utilization', 'CPU利用率', ['pid', 'name'])
memory = Gauge('memory', '内存(MB)', ['pid', 'name'])
memory_usage_rate = Gauge('memory_usage_rate', '内存占用率', ['pid', 'name'])# 赋值
subprocess_exporter_info.info({'version': '1.0.1', 'author': '岳罡', 'blog': 'https://www.cnblogs.com/test-gang'})
def process_request(pid_lists):for i in pid_lists:a = print_process(i)subprocess_info.labels(pid=f'{i}', name=f'{a[1]}')cpu_utilization.labels(pid=f'{i}', name=f'{a[1]}').set(a[2])memory.labels(pid=f'{i}', name=f'{a[1]}').set(a[3]/1048576)memory_usage_rate.labels(pid=f'{i}', name=f'{a[1]}').set(a[4])if __name__ == '__main__':# 启动 HTTP 服务器start_http_server(data['config']['start_http_server'])# 创建 ThreadPoolExecutorwith ThreadPoolExecutor(max_workers=4) as executor: # 控制线程池大小为4# 循环处理请求while True:# 提交任务给线程池future = executor.submit(process_request, pid_list)time.sleep(4)
创建一个yml文件，用于为python脚本传输进程PID和http_server的端口号。
config:start_http_server: 8000pid_list: [21352, 123]
步骤3：运行Exporter
运行上述Python脚本，它将在8000端口上启动一个HTTP服务器，等待Prometheus的拉取请求。
- gitee仓库：https://gitee.com/qdyg/subprocess_exporter
- github仓库：https://github.com/YueGang0725/subprocess_exporter
3. Prometheus配置
接下来，需要配置Prometheus以从我们的Exporter中拉取数据。
步骤1：修改Prometheus配置文件
找到Prometheus的配置文件（通常是prometheus.yml），并添加一个job来抓取我们的Exporter：
scrape_configs:- job_name: 'process_exporter'scrape_interval: 15sstatic_configs:- targets: ['localhost:8000']
步骤2：重启Prometheus服务
保存配置文件并重启Prometheus服务，使其加载新的配置。
4. Grafana配置
最后，在Grafana中配置数据源和仪表盘，以展示从Prometheus获取的进程监控数据。
步骤1：添加Prometheus数据源
在Grafana中，添加一个新的数据源，选择Prometheus，并填写Prometheus服务器的URL（如http://localhost:9090）。
步骤2：导入仪表盘
导入进程性能详情.json仪表盘模板
- gitee仓库：https://gitee.com/qdyg/subprocess_exporter
- github仓库：https://github.com/YueGang0725/subprocess_exporter
步骤3：运行结果
