Grafana: различия между версиями

Версия 20:45, 25 ноября 2021

Это черновик страницы. Последняя правка сделана 25.11.2021 пользователем A.Degtyarev.

Введение

Grafana — мультиплатформенное веб-приложение с открытым кодом, отображающее данные в виде графиков, диаграмм, индикаторов, а также другими способами. Конечные пользователи могут создавать сложные панели мониторинга с помощью интерактивного конструктора запросов. Умеет отправлять оповещения (alert). Расширяется с помощью системы плагинов.

Grafana подходит для отображения изменяющихся со временем параметров — например, показаний датчиков, подключенных к контроллеру Wiren Board. Так как Grafana сама по себе не является базой данных, для хранения данных используются time series databases, такие как InfluxDB и Prometheus.

Grafana можно установить на собственный сервер, либо использовать облачный сервис Grafana Cloud.

Grafana Cloud

В состав Grafana Cloud входит собственная база данных, поэтому устанавливать и настраивать базу данных не требуется.

Показания с контроллера Wiren Board будут передаваться по схеме:

MQTT-брокер на контроллере Wiren Board -> клиент Telegraf на контроллере Wiren Board -> Grafana Cloud.

Регистрация в Grafana Cloud

Зарегистрируйтесь по ссылке [1].

Установка и настройка Telegraf на контроллер Wiren Board

Установите и запустите Telegraf в соответствии с https://docs.influxdata.com/telegraf/v1.19/introduction/installation/:

apt update && apt install apt-transport-https
wget -qO- https://repos.influxdata.com/influxdb.key | sudo apt-key add -  
source /etc/os-release  
test $VERSION_ID = "7" && echo "deb https://repos.influxdata.com/debian wheezy stable" | sudo tee /etc/apt/sources.list.d/influxdb.list
test $VERSION_ID = "8" && echo "deb https://repos.influxdata.com/debian jessie stable" | sudo tee /etc/apt/sources.list.d/influxdb.list
test $VERSION_ID = "9" && echo "deb https://repos.influxdata.com/debian stretch stable" | sudo tee /etc/apt/sources.list.d/influxdb.list
test $VERSION_ID = "10" && echo "deb https://repos.influxdata.com/debian buster stable" | sudo tee /etc/apt/sources.list.d/influxdb.list
apt update && apt install telegraf
systemctl start telegraf

Добавьте в /etc/telegraf/telegraf.conf секции для получения данных из MQTT и отправки данных в Grafana Cloud. В секции отправки данных замените логин и пароль на указанные на странице https://grafana.com/orgs/wiren в разделе Prometheus - Send metrics.

[[inputs.mqtt_consumer]]
  ## Broker URLs for the MQTT server or cluster.  To connect to multiple
  ## clusters or standalone servers, use a seperate plugin instance.
  ##   example: servers = ["tcp://localhost:1883"]
  ##            servers = ["ssl://localhost:1883"]
  ##            servers = ["ws://localhost:1883"]
  servers = ["tcp://127.0.0.1:1883"]

  ## Topics that will be subscribed to.
  topics = [
    "/devices/power_status/controls/Vin",
  ]

  ## The message topic will be stored in a tag specified by this value.  If set
  ## to the empty string no topic tag will be created.
  # topic_tag = "topic"

  ## QoS policy for messages
  ##   0 = at most once
  ##   1 = at least once
  ##   2 = exactly once
  ##
  ## When using a QoS of 1 or 2, you should enable persistent_session to allow
  ## resuming unacknowledged messages.
  # qos = 0

  ## Connection timeout for initial connection in seconds
  # connection_timeout = "30s"

  ## Maximum messages to read from the broker that have not been written by an
  ## output.  For best throughput set based on the number of metrics within
  ## each message and the size of the output's metric_batch_size.
  ##
  ## For example, if each message from the queue contains 10 metrics and the
  ## output metric_batch_size is 1000, setting this to 100 will ensure that a
  ## full batch is collected and the write is triggered immediately without
  ## waiting until the next flush_interval.
  # max_undelivered_messages = 1000

  ## Persistent session disables clearing of the client session on connection.
  ## In order for this option to work you must also set client_id to identify
  ## the client.  To receive messages that arrived while the client is offline,
  ## also set the qos option to 1 or 2 and don't forget to also set the QoS when
  ## publishing.
  # persistent_session = false

  ## If unset, a random client ID will be generated.
  # client_id = ""

  ## Username and password to connect MQTT server.
  # username = "telegraf"
  # password = "metricsmetricsmetricsmetrics"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

  ## Data format to consume.
  ## Each data format has its own unique set of configuration options, read
  ## more about them here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
    data_format = "value"
    data_type = "float"

[[outputs.http]]
  ## URL is the address to send metrics to
  url = "https://prometheus-us-central1.grafana.net/api/prom/push"

  ## HTTP Basic Auth credentials
  username = "xxx" # Replace
  password = "yyy" # Replace

  ## Data format to output.
  data_format = "prometheusremotewrite"

  ## Additional HTTP headers
  [outputs.http.headers]
     Content-Type = "application/x-protobuf"
     Content-Encoding = "snappy"
     X-Prometheus-Remote-Write-Version = "0.1.0"

Проверьте, что Telegraf работает без ошибок.
1. Остановите его и запустите вручную:
```
systemctl stop telegraf
telegraf -debug
```
2. Если ошибок нет, запустите Telegraf:
```
systemctl start telegraf
```

Создание панели с данными от контроллера Wiren Board в Grafana

Свой сервер Grafana

Для установки Grafana нам потребуется выделенный сервер с IP-адресом, доступным с контроллера Wiren Board.

Схема работы:

Один или несколько контроллеров передают значения MQTT топиков в MQTT-брокер, установленный на сервере Grafana.
На сервере Grafana выполняется скрипт, который записывает MQTT-топики брокера в базу данных Influx.
Grafana отображает содержимое базы данных Influx.

Grafana и MQTT-брокер можно установить на один сервер, или разнести на разные. При использовании двух серверов IP-адрес MQTT-брокера должен быть доступен с контроллера Wiren Board и с сервера, на котором установлена Grafana.

Установка Grafana

Страница входа в веб-интерфейс Grafana

В примере мы установим Grafana на сервер с Debian Linux 11.

Подготовьте сервер к установке:

Установите пакеты:

sudo apt install -y apt-transport-https software-properties-common wget gnupg2 sudo python3-pip

Добавьте ключ репозитория packages.grafana.com:

wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -

Добавьте ссылку на репозиторий packages.grafana.com:

echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

Обновите список пакетов:
```
sudo apt update
```

Установите необходимое ПО:

grafana, python3 и БД influxdb:

sudo apt install -y grafana influxdb influxdb-client python3-pip

и дополнительные модули python:
```
sudo pip3 install paho-mqtt python-etcd influxdb
```

Разрешите автозапуск сервиса и запустите его:

sudo systemctl enable grafana-server && sudo systemctl start grafana-server

Проверьте статус сервиса:

$ systemctl status grafana-server
● grafana-server.service - Grafana instance
     Loaded: loaded (/lib/systemd/system/grafana-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Thu 2021-11-25 13:56:19 +04; 2min 33s ago
       Docs: http://docs.grafana.org
   Main PID: 3237 (grafana-server)
      Tasks: 9 (limit: 4663)
     Memory: 35.2M
        CPU: 1.371s

Если статус Active: active (running) — переходите к следующим шагам.

Создайте базу данных Influxdb с именем mqtt_data:

$ echo "CREATE DATABASE mqtt_data; show databases;" | influx

name: databases
name
----
_internal
mqtt_data

Перейдите в веб-интерфейс Grafana:

Откройте браузер и введите в адресную строку http://192.168.2.36:3000, где 192.168.2.36 — IP-адрес вашего сервера с Grafana.
Введите логин/пароль admin/admin. После первого входа задайте новый пароль.

Установка MQTT-брокера

Теперь настроим MQTT-брокер, куда контроллер Wiren Board будет отправлять данные.

Установите на сервер с Grafana mosquitto по инструкции Установка брокера.

Настройка моста на контроллере

Настройте на контроллере Wiren Board подключение к внешнему MQTT-брокеру:

Подключитесь к контроллеру по SSH.
Создайте файл конфигурации bridge1.conf:
```
mcedit /etc/mosquitto/conf.d/bridge1.conf
```
Вставьте в него строки, в которых замените в двух местах AWQBNTYP на серийный номер контроллера, а 192.168.2.36 на IP-адрес брокера:
```
connection bridge1
#address of server
address 10.0.0.105
notifications true
notification_topic /client/AWQBNTYP/bridge1_status
remote_username test
remote_password test11test
topic /hwmon/# both 2 /devices /client/AWQBNTYP/devices
```
в конфигурации выше мы отправляем в MQTT-брокер все подтопики устройства hwmon, чтобы передать все топики контроллера, замените путь /hwmon/# на /#
Сохраните изменения и закройте файл.
Перезапустите mosquitto:
```
service mosquitto restart
```

Теперь проверим, что контроллер отправляет данные во внешний MQTT-брокер:

Выполните в консоли контроллера команду, в которой замените 192.168.2.36 на IP-адрес брокера, AWQBNTYP на серийный номер контроллера, а test и wbpassword на логин и пароль от MQTT-брокера:

# mosquitto_sub -v -h 192.168.2.36 -u test -P wbpassword -t /client/AWQBNTYP/devices/#
/client/AWQBNTYP/devices/hwmon/meta/driver wb-rules
/client/AWQBNTYP/devices/hwmon/meta/name HW Monitor
/client/AWQBNTYP/devices/hwmon/controls/Board Temperature 35.875
/client/AWQBNTYP/devices/hwmon/controls/Board Temperature/meta/type temperature
/client/AWQBNTYP/devices/hwmon/controls/Board Temperature/meta/order 1
/client/AWQBNTYP/devices/hwmon/controls/Board Temperature/meta/readonly 1
/client/AWQBNTYP/devices/hwmon/controls/CPU Temperature 66.917
/client/AWQBNTYP/devices/hwmon/controls/CPU Temperature/meta/type temperature
/client/AWQBNTYP/devices/hwmon/controls/CPU Temperature/meta/order 2
/client/AWQBNTYP/devices/hwmon/controls/CPU Temperature/meta/readonly 1
/client/AWQBNTYP/devices/hwmon/controls/CPU Temperature 66.917
/client/AWQBNTYP/devices/hwmon/controls/Board Temperature 35.875

Если после выполнения команды вы получите список топиков — контролер успешно отправляет данные во внешний брокер.

Завершите команду клавишами Ctrl+C.

Скрипт на сервере Grafana

Теперь скачаем на сервер с Grafana скрипт, который будет отправлять данные из MQTT-брокера в базу данных Influx:

Перейдите на сервере в папку /usr/local/bin
```
cd /usr/local/bin
```

Скачайте в эту папку скрипт:

sudo wget https://raw.githubusercontent.com/wirenboard/wbmqtt2influx/master/mqtt_to_influxdb.py

Разрешите выполнение скрипта командой:
```
sudo chmod +x mqtt_to_influxdb.py
```
Создайте сервис, который будет автоматически запускать скрипт:
```
sudo systemctl edit --force --full mqtt_to_influxdb.service
```

В открывшийся редактор вставьте строки, в которых замените test и wbpassword на логин и пароль от MQTT-брокера.:

[Unit]
Description=Mqtt to Influxdb script
After=multi-user.target
Requires=influxd.service

[Service]
Type=idle
User=mosquitto
ExecStart=/usr/bin/python3 /usr/local/bin/mqtt_to_influxdb.py -h localhost "/#" -u "test" -P "wbpassword"
Restart=always
TimeoutStartSec=10
RestartSec=10

[Install]
WantedBy=multi-user.target

Если MQTT-брокер стоит на отдельном от Grafana сервере, укажите его IP-адрес вместо localhost.

Сохраните файл, для этого нажмите клавиши Ctrl+O, затем Enter и Ctrl+X.

Настройте автозапуск и запустите сервис:

sudo systemctl enable mqtt_to_influxdb.service && sudo systemctl start mqtt_to_influxdb.service

Проверьте статус сервиса:

$ systemctl status mqtt_to_influxdb.service
● mqtt_to_influxdb.service - Mqtt to Influxdb script
     Loaded: loaded (/etc/systemd/system/mqtt_to_influxdb.service; enabled; vendor preset: enabled)
     Active: active (running) since Thu 2021-11-25 21:38:32 +04; 4s ago
   Main PID: 5440 (python3)
      Tasks: 2 (limit: 4663)
     Memory: 17.1M
        CPU: 206ms
     CGroup: /system.slice/mqtt_to_influxdb.service
             └─5440 /usr/bin/python3 /usr/local/bin/mqtt_to_influxdb.py -h localhost /# -u test -P wbpassword

Если в выводе команды есть строчка Active: active (running) — сервис создан и настроен верно.

Теперь проверьте, записывается ли что-то в influxDB. Для этого выполните на сервере команду:

$ influx -database 'mqtt_data' -execute 'SELECT * FROM /.*/ LIMIT 10'
name: mqtt_data
time                channel                 client   value_f
----                -------                 ------   -------
1637861917526049562 hwmon/CPU Temperature   AWQBNTYP 67.516
1637861917615599448 hwmon/Board Temperature AWQBNTYP 35.875
1637861927519510484 hwmon/CPU Temperature   AWQBNTYP 66.917
1637861927586856127 hwmon/Board Temperature AWQBNTYP 35.875
1637861937592362349 hwmon/Board Temperature AWQBNTYP 35.875
1637861937592362349 hwmon/CPU Temperature   AWQBNTYP 66.917
1637861947498698295 hwmon/CPU Temperature   AWQBNTYP 67.516
1637861947570297085 hwmon/Board Temperature AWQBNTYP 35.875
1637861957523243600 hwmon/CPU Temperature   AWQBNTYP 66.917
1637861957593339293 hwmon/Board Temperature AWQBNTYP 35.875

если вывод команды не пустой — можно переходить к настройке Grafana через веб-интерфейс.

Настройка в Grafana источника данных

В веб-интерфейсе Grafana в левом меню выбираем «шестеренку» (Configuration) и в выпадающем меню - Data sources

Вход в настройку источника данных

По нажатию самой большой кнопки в центре

Add data source

переходим к выбору типа БД

Influx как источник

Нужно заполнить следующие поля
Name - можно оставить по умолчанию
URL - http://localhost:8086
Database - указываем имя базы, созданной выше, mqtt_data
и после нажатия кнопки Save & test выводится Data source is working - значит БД подключена успешно.

сохранить и проверить

Grafana - создание dashboard

Запрос можно оформить так (для примера, данные без разделения по тегам)

настройка дашборда

Или в RAW виде: SELECT mean("value_f") FROM "mqtt_data" WHERE ("channel" = 'controllerACAX3M6K/wb-msw-v3_98') AND $timeFilter GROUP BY time($__interval) fill(null)

Полезные ссылки

Оригинальная инструкция установки Grafana в Debian

Навигация