Smart by zabbix agent 2 windows

Ранее в статьях, посвященных Zabbix, мы рассказали про особенности мониторинга SAAS-сервиса интернет-магазинов, а также про установку сервера и агента Zabbix.

Новая статья поможет вам настроить мониторинг дисков и программных RAID-массивов, созданных с помощью mdadm. Без преувеличения можно сказать, что мониторинг этих устройств сервера представляет собой одну из важнейших задач. 

Если не контролировать постоянно состояние дисков и массивов, рано или поздно сервер прекратит свою работу. А если вдобавок еще и не делать резервное копирование данных, то в худшем случае при аварии с дисками можно потерять бизнес.

Объекты мониторинга дисковой системы

Перечислим объекты и свойства дисковых систем серверов, которые необходимо контролировать в любой системе:

• состояние программных и аппаратных RAID-массивов;

• исправность дисков SATA, SAS, SSD и SSD NVMe;

• свободное пространство на дисках;

• использование дисковых квот

Сейчас мы займемся решением только первых двух задач — настроим мониторинг программных RAID-массивов и контроль исправности дисков с помощью анализа данных S.M.A.R.T., а остальное оставим на потом.

На серверах SAAS-сервиса интернет-магазинов используются зеркальные аппаратные и программные массивы RAID-1. При выходе из строя одного из дисков массива сервер продолжает работать. Неисправный диск можно заменить в горячем режиме, не останавливая работу сервера и размещенных на нем интернет-магазинов.

Контроль программных RAID-массивов mdadm

Относительно недорогие серверы обычно не комплектуются аппаратными контроллерами дисков. В этом случае имеет смысл объединять диски в программные зеркальные массивы RAID-1 с помощью программы mdadm. 

Если вы берете сервер в аренду, то можете заказать установку нужной вам ОС, а также объединение дисков в зеркало. Когда вы размещаете в дата-центре свой собственный сервер, то установку ОС и создание дисковых массивов придется делать самостоятельно.

В любом случае для размещения ОС и сайтов можно использовать два быстрых диска SSD, объединенных в зеркало RAID-1, а для создания и локального хранения резервных копий — массив RAID-1 из двух дисков SATA. Здесь предполагается, что резервные копии вначале создаются локально, а потом копируются на выделенные серверы для бэкапов.

Контроль программного массива вручную

Получив сервер в аренду, первым делом проверьте количество процессоров и ядер, объем памяти, объем доступного дискового пространства, а также состояние дисковых массивов.

Что касается количества процессоров, ядер и объема оперативной памяти, то для ручного контроля можно использовать утилиты lscpu и free. Команда «df -h» поможет вам узнать объем дискового пространства, занимаемого смонтированными файловыми системами, объем использованного и доступного дискового пространства.

Также запустите команду lsblk, которая выводит на консоль информацию обо всех доступных блочных устройствах в виде дерева:

# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINT
sda               8:0    0 894.3G  0 disk
├─sda1            8:1    0   953M  0 part
│ └─md0           9:0    0   952M  0 raid1 /boot
└─sda2            8:2    0 893.3G  0 part
  └─md1           9:1    0 893.2G  0 raid1
    ├─vg00-swap 253:0    0  15.3G  0 lvm   [SWAP]
    └─vg00-root 253:1    0 877.9G  0 lvm   /
sdb               8:16   0 894.3G  0 disk
├─sdb1            8:17   0   953M  0 part
│ └─md0           9:0    0   952M  0 raid1 /boot
└─sdb2            8:18   0 893.3G  0 part
  └─md1           9:1    0 893.2G  0 raid1
    ├─vg00-swap 253:0    0  15.3G  0 lvm   [SWAP]
    └─vg00-root 253:1    0 877.9G  0 lvm   /
sdc               8:32   0   1.8T  0 disk
└─sdc1            8:33   0   1.8T  0 part
  └─md2           9:2    0   1.8T  0 raid1 /mnt/raid
sdd               8:48   0   1.8T  0 disk
└─sdd1            8:49   0   1.8T  0 part
  └─md2           9:2    0   1.8T  0 raid1 /mnt/raid

Как видите, на сервере установлены диски sda, sdbs sdcs и sdd. Создано три дисковых массива md0, md1 и md2.

Для ручной проверки состояния дисковых массивов введите команду:

# cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md2 : active raid1 sdc1[1] sdd1[0]
      1953381376 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md1 : active raid1 sda2[0] sdb2[1]
      936583168 blocks super 1.2 [2/2] [UU]
      bitmap: 5/7 pages [20KB], 65536KB chunk

md0 : active raid1 sda1[0] sdb1[1]
      974848 blocks super 1.2 [2/2] [UU]

unused devices: <none>

Если в блоке параметров всех массивов есть строка [UU], значит с ними все хорошо. Если же вместо U в этой строке имеются символы подчеркивания «_», то соответствующие диски находятся в отключенном состоянии, а массив — в состоянии деградации или восстановления.

Когда массив находится в состоянии восстановления, вы увидите строки такого вида:

md2 : active raid1 sdc4[2] sda4[0]
 1919763264 blocks super 1.2 [2/1] [U_]
 [>....................] recovery = 1.7% (33233600/1919763264) finish=770.0min speed=40832K/sec

Если вы только что получили доступ к арендованному серверу и занимаетесь его проверкой, возможно, что еще не все дисковые массивы окончательно синхронизировались. Перед подключением мониторинга нужно дождаться завершения синхронизации.

Установка шаблона zabbix_mdraid

В составе Zabbix уже имеются шаблоны, предназначенных для мониторинга различных устройств и сервисов. Дополнительно на сайте https://www.zabbix.com/integrations можно найти очень много шаблонов, добавленных сторонними разработчиками.

В комплекте с этими шаблонами идут скрипты, которые нужно подключить к агенту Zabbix через файл конфигурации, а также инструкции по установке.

Что касается мониторинга программных массивов, созданных с помощью mdadm, то в составе встроенных шаблонов Zabbix 6.2 его нет. Поэтому мы воспользуемся готовым шаблоном Template MD RAID, доступным в Github:https://github.com/linuxsquad/zabbix_mdraid.

Импорт шаблона zabbix_mdraid

Скачайте файл zbx_export_templates.xml по ссылке https://github.com/linuxsquad/zabbix_mdraid/blob/master/zbx_export_templates.xml и добавьте его в шаблоны сервера Zabbix.

Для добавления на странице веб-интерфейса Zabbix выберите из меню Configuration строку Templates. Вы попадете на страницу с полным списком шаблонов. Щелкните кнопку Import, расположенную в верхнем правом углу страницы Templates. Далее в появившемся на экране всплывающем окне нажмите кнопку Import.

Если шаблон импортировался успешно, он появится в общем списке шаблонов под именем Template MD RAID.

Установка скрипта zabbix_mdraid.sh

Чтобы импортированный шаблон включился в работу, скачайте скрипт zabbix_mdraid.sh, доступный по адресу https://github.com/linuxsquad/zabbix_mdraid/blob/master/zabbix_mdraid.sh, и запишите его в каталог /usr/local/bin/.

Далее установите для файла скрипта разрешение на запуск, а затем назначьте владельцем пользователя zabbix:

chmod +x /usr/local/bin/zabbix_mdraid.sh
chown zabbix:zabbix /usr/local/bin/zabbix_mdraid.sh

Скрипт /usr/local/bin/zabbix_mdraid.sh будет запускаться агентом Zabbix с помощью sudo. Добавьте командой visudo разрешение на запуск скрипта через sudo (укажите полный путь к скрипту):

zabbix ALL= (ALL) NOPASSWD: /usr/local/bin/zabbix_mdraid.sh

Проверьте, что скрипт запускается от пользователя zabbix без ошибок:

sudo -u zabbix '/usr/local/bin/zabbix_mdraid.sh'

Если посмотреть исходный текст скрипта, то видно, что для получения списке программных дисковых массивов используется команда:

# cat /proc/mdstat | grep ^md
md2 : active raid1 sdc1[1] sdd1[0]
md1 : active raid1 sda2[0] sdb2[1]
md0 : active raid1 sda1[0] sdb1[1]

Результат работы этой команды записывается в файл /tmp/zabbix_mdraid_discovery.json примерно в таком виде:

{
 "data":[
 { "{#MD_DEVICE}":"/dev/md2" },
 { "{#MD_DEVICE}":"/dev/md1" },
 { "{#MD_DEVICE}":"/dev/md0" }, ]
}

Этот файл используется для низкоуровневого обнаружения LLD (Low-level discovery), описанного в документации: https://www.zabbix.com/documentation/current/en/manual/discovery/low_level_discovery.

Далее для получения состояния каждого массива используется команда «mdadm —query —detail», которой в качестве параметра передается путь к массиву:

# mdadm --query --detail /dev/md/0
/dev/md/0:
           Version : 1.2
     Creation Time : Tue May 17 22:43:58 2022
        Raid Level : raid1
        Array Size : 974848 (952.00 MiB 998.24 MB)
     Used Dev Size : 974848 (952.00 MiB 998.24 MB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent
       Update Time : Mon Jul 11 00:38:06 2022
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0
Consistency Policy : resync
              Name : debian:0
              UUID : e4932f3c:dd178f82:d972c9fe:71de1c90
            Events : 88
    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1

Скрипт zabbix_mdraid.sh извлекает отсюда параметры состояния массива и передает их серверу Zabbix.

Редактирование файла конфигурации агента Zabbix

Для запуска скрипта zabbix_mdraid.sh добавьте в файл конфигурации агента /etc/zabbix/zabbix_agentd.conf следующие строки:

#### MDRAID
UserParameter=mdraid[*], sudo /usr/local/bin/zabbix_mdraid.sh -m'$1' -$2'$3'
UserParameter=mdraid.discovery, sudo /usr/local/bin/zabbix_mdraid.sh -D

Затем перезапустите агент:

systemctl restart zabbix-agent

Для zabbix-agent2 используется файл конфигурации /etc/zabbix/zabbix_agent2.conf.

На этом установка шаблона закончена, и можно отслеживать получение данных о программных массивах.

Просмотр данных о программных массивах

Выберите в меню Monitoring строку Latest Data. Далее с помощью меню Host group и Hosts выберите нужный сервер, где вы только что отредактировали файл конфигурации агента Zabbix, а затем щелкните кнопку Apply.

Вы увидите очень большую таблицу данных, полученных от агента. Щелкните в поле TAG Values строку MD_RAID, чтобы на странице остались только данные, полученные с помощью шаблона zabbix_mdraid (рис. 1).

Чтобы посмотреть график изменений данных, щелкните в соответствующей строке кнопку Graph. На рис. 2 показано изменение скорости записи данных для массива /dev/md1.

Триггеры контроля состояния программных дисковых массивов

Чтобы проверять, находятся ли отслеживаемые данные в допустимых пределах, а также имеют ли они допустимые значения, в Zabbix используются триггеры.

Вы можете посмотреть, какие триггеры созданы для контролируемого сервера и в каком они находятся состоянии. Для этого откройте список контролируемых узлов, выбрав из меню Configuration строку Hosts. В таблице щелкните ссылку Triggers в строке нужно хоста, в результате чего в окне браузера появится довольно большая таблица триггеров, определенная для хоста.

На рис. 3 показаны строки таблицы, имеющие отношение к шаблону zabbix_mdraid.

Эти триггеры были добавлены в процессе низкоуровневого обнаружения LLD.

Обратите внимание: если состояние массива, взятое из элемента данных с именем State, содержит строки degraded, resyncing, recovering или Not Started, триггер сработает. При правильной настройке системы оповещений, о которой мы расскажем в отдельной статье, системный администратор получит оповещение по электронной почте, через SMS или другим способом.

О создании триггеров можно прочитать в документации Zabbix: https://www.zabbix.com/documentation/current/en/manual/quickstart/trigger. Для версии 6.0 есть версия на русском языке: https://www.zabbix.com/documentation/6.0/ru/manual/quickstart/trigger.

Мониторинг S.M.A.R.T. дисковых устройств

В 1995 году производители жестких дисков создали технологию самотестирования, анализа состояния и накопления статистических данных об ухудшении характеристик дисков с названием S.M.A.R.T. (Self-Monitoring Analysis and Reporting Technology).

С помощью программы smartctl, входящей в пакет smartmontools, вы можете контролировать значение параметров S.M.A.R.T. дисковых устройств вашего сервера как вручную, так и средствами Zabbix.

Контроль  параметров S.M.A.R.T. вручную

Для начала установите пакет smartmontools. В ОС Debian это можно сделать следующей командой:

# apt-get install smartmontools

После установки вы сможете запускать программу smartctl для получения значений параметров.

Убедитесь, что будет установлена версия программы smartctl не ниже 7.1, это будет нужно для мониторинга параметров S.M.A.R.T. с помощью встроенного шаблона SMART by Zabbix agent 2. Проверить версию smartctl можно так:

/usr/sbin/smartctl -V
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.10.0-14-amd64] (local build)

Давайте посмотрим параметры S.M.A.R.T. для устройства /dev/sda:

# smartctl -a /dev/sda

Команда выведет на консоль довольно подробную информацию о диске, включая название модели Device Model, серийный номер Serial Number, объем User Capacity и другие параметры:

=== START OF INFORMATION SECTION ===
Device Model:     INTEL SSDSC2KB480G8
Serial Number:    BTYF83160CQ04878ER82
LU WWN Device Id: 5 5cd2e4 14fd79e98
Firmware Version: XCV10100
User Capacity:    480,103,981,056 bytes [480 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Thu Jul 21 18:44:31 2022 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Обратите внимание на таблицу значений параметров, где есть идентификатор параметра ID, название параметра NAME,  так называемое нормализованное значение VALUE,  пороговое значение THRESH и другие данные:

Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0032   100   100   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       31311
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       8
170 Unknown_Attribute       0x0033   100   100   010    Pre-fail  Always       -       0
171 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
172 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
174 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       8
175 Program_Fail_Count_Chip 0x0033   100   100   010    Pre-fail  Always       -       38654642595
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0033   100   100   090    Pre-fail  Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   071   062   000    Old_age   Always       -       29 (Min/Max 12/38)
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       8
194 Temperature_Celsius     0x0022   100   100   000    Old_age   Always       -       29
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0
225 Unknown_SSD_Attribute   0x0032   100   100   000    Old_age   Always       -       1762160
226 Unknown_SSD_Attribute   0x0032   100   100   000    Old_age   Always       -       3389
227 Unknown_SSD_Attribute   0x0032   100   100   000    Old_age   Always       -       78
228 Power-off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       1878671
232 Available_Reservd_Space 0x0033   100   100   010    Pre-fail  Always       -       0
233 Media_Wearout_Indicator 0x0032   097   097   000    Old_age   Always       -       0
234 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       0
235 Unknown_Attribute       0x0033   100   100   010    Pre-fail  Always       -       38654642595
241 Total_LBAs_Written      0x0032   100   100   000    Old_age   Always       -       1762160
242 Total_LBAs_Read         0x0032   100   100   000    Old_age   Always       -       6319391
243 Unknown_Attribute       0x0032   100   100   000    Old_age   Always       -       5924573

В интернете нетрудно найти описание этих параметров по названию. Заметим, что для дисков SSD разных производителей параметры могут различаться, и не все они документированы. Для дисков SSD компании Intel хорошее описание приведено здесь: https://www.thomas-krenn.com/en/wiki/SMART_attributes_of_Intel_SSDs, а для Kingston — здесь: https://media.kingston.com/support/downloads/MKP_306_SMART_attribute.pdf. 

Также довольно полное описание параметров можно найти на этой странице: https://wiki5.ru/wiki/S.M.A.R.T.

Когда вы контролируете состояние дисков Intel SSD, обратите внимание на следующие параметры:

• 232 Available Reserved Space — доступный объем зарезервированного пространства;

• 233 Media Wearout Indicator — индикатор износа диска

Если первый из них достигает порогового значение 10, то ресурс диска подходит к концу. Второй представляет собой индикатор износа накопителя, и при достижении порогового значения диск подлежит замене.

Для дисков SSD Kingston интересен параметр 231 SSD Life Left, значение которого зависит от выполненный циклов стирания. 

Что касается жестких дисков, то для них важен контроль следующих параметров:

• 1 Raw_Read_Error_Rate — частота ошибок чтения;

• 5 Reallocated_Sector_Ct — количество неисправных переназначенных секторов;

• 7 Seek_Error_Rate — частота ошибок поиска;

• 9 Power_On_Hours — время работы диска, «сырое» значение  RAW_VALUE может задавать общее количество часов, минут или секунд (в зависимости от производителя) работы диска;

• 10 Spin_Retry_Count — количество повторных попыток раскрутки, увеличивается по мере износа механики диска;

• 194 Temperature_Celsius — температура диска в градусах Цельсия

Температуру имеет смысл контролировать для дисков любых типов.

Еще раз напомним, что диски разных производителей могут использовать разные параметры, поэтому точную информацию лучше искать на сайте производителя для ваших моделей.

В любом случае при ручном контроле нужно следить, чтобы значения VALUE не были равны или ниже соответствующих пороговых значений THRESH.

Контроль параметров S.M.A.R.T. с помощью шаблона SMART by Zabbix agent 2

В Zabbix версии 6.2 имеется шаблон SMART by Zabbix agent 2, контролирующий состояние дисков исходя из значений параметров S.M.A.R.T. Для работы этого шаблона вам нужно будет установить на сервер агент zabbix-agent2, о чем мы рассказывали в предыдущей статье.

Описание шаблона SMART by Zabbix agent 2 есть на этой странице: https://www.zabbix.com/integrations/smart.

Если у вас Zabbix версии 6.2, то для включения мониторинга S.M.A.R.T. на контролируемом сервере просто добавьте шаблон SMART by Zabbix agent 2 к шаблонам сервера. 

Чтобы это сделать, выберите из меню Configuration строку Hosts, а затем щелкните название сервера. Откроется окно, где вам нужно щелкнуть кнопку Select в блоке Templates, а затем отыскать шаблон с названием SMART by Zabbix agent 2, отметить флажок возле него и щелкнуть кнопку Select.

В результате шаблон SMART by Zabbix agent 2 будет добавлен к серверу (рис. 4).

Шаблон SMART by Zabbix agent 2 устроен так, что ему не нужны дополнительные скрипты. Он обращается за данными к пакету  smartmontools с помощью агента zabbix-agent2.

Через некоторое время после установки шаблона с помощью LLD к контролируемому серверу будут добавлены элементы данных и триггеры.

Для просмотра созданных элементов данных и триггеров выберите из меню Configuration строку Hosts. В строке вашего сервера для просмотра данных щелкните ссылку Items, а для просмотра триггеров — ссылку Triggers.

Вы увидите, что для сервера всего было создано очень много элементов данных. С помощью фильтра оставьте только те элементы, которые были получены с помощью LLD с именем sda (рис. 5).

В результате получаем вполне обозримый список элементов данных, имеющий отношение к S.M.A.R.T. (рис. 6).

Аналогичным способом вы можете посмотреть список триггеров контролируемого сервера. Триггеры, созданные для диска /dev/sda, показаны на рис. 7.

Обратите внимание на триггер SMART [sda sat]: Some Attributes have been <= threshold. Он срабатывает, если какое-либо значение параметра S.M.A.R.T. достигает порогового значения или опускается еще ниже. В результате создается событие высокой степени важности High, и при правильной настройке оповещения такое событие попадает к системному администратору по приоритетному каналу.

Аналогичные события создаются и при обнаружении каких-либо других существенных проблем с диском.

Текущие значения параметров S.M.A.R.T. (как и других отслеживаемых параметров) и графики их изменения можно увидеть, если из меню Monitoring веб-интерфейса Zabbix выбрать строку Latest Data.

Мониторинг S.M.A.R.T.S с помощью своего шаблона Zabbix

Если по каким-то причинам вы не можете использовать новую версию Zabbix, или если вам нужно настроить мониторинг параметров S.M.A.R.T. своим особым способом, то такая возможность также имеется.

В любом случае сначала нужно установить пакет smartmontools, как это было описано ранее.

После этого создайте несложный шаблон для отслеживания параметра «здоровья» 233 Media_Wearout_Indicator дисков SSD.

Вы можете получить значение этого параметра для диска /dev/sda через консоль следующим образом:

# smartctl -a /dev/sda | grep Media_Wearout_Indicator
233 Media_Wearout_Indicator 0x0032   097   097   000    Old_age   Always       -       0

Как видите, здесь значение этого параметра равно 97, что очень даже неплохо.

Настройка мониторинга

Добавьте в конец файла /etc/zabbix/zabbix_agentd.conf такие строки:

###### MY S.M.A.R.T.
UserParameter=smartd.value[*],sudo smartctl -A -f hex,id $1 | grep $2 | awk '{print $ 4+0}'
UserParameter=smartd.trash[*],sudo smartctl -A -f hex,id $1 | grep $2 | awk '{print $ 6+0}'
UserParameter=smartd.raw[*],sudo smartctl -A -f hex,id $1 | grep $2 | awk '{print $ 10+0}'

Затем перезапустите агент Zabbix:

# systemctl restart zabbix-agent

Не забудьте установить sudo (если эта программа у вас еще не установлена), и разрешить запуск через sudo программы /usr/sbin/smartctl.

Для разрешения запуска с помощью visudo добавьте в файл /etc/sudoers строку:

zabbix ALL= (ALL) NOPASSWD: /usr/sbin/smartctl

Проверка получения параметра с сервера Zabbix

Проверьте, что сервер Zabbix получает данные добавленного вами мониторинга S.M.A.R.T. от агента. Установите на сервере Zabbix программу zabbix_get:

apt install zabbix-get

Теперь на сервере Zabbix проверьте получение нужного вам параметра от агента Zabbix, запущенного на контролируемом сервере:

# zabbix_get -s xxx.xxx.xxx.xxx -k "smartd.value[/dev/sda,0xe9]"
97

Здесь вместо xxx.xxx.xxx.xxx в параметре -s укажите адрес IP контролируемого сервера. Идентификатор атрибута S.M.A.R.T. следует указывать в шестнадцатеричной системе счисления с префиксом 0x.

В результате команда должна вывести на консоль значение атрибута 0xe9 или 233 (в десятичной системе счисления).

Результатом выполнения команда должно быть значение 100 при новом диске. У нас диск не совсем новый, поэтому мы получили значение 97.

Создание шаблона для Zabbix

Вы можете создать шаблон для мониторинга самостоятельно. Для этого зайдите на страницу Templates, доступную в меню Configuration, и щелкните кнопку Create Template.

Задайте имя шаблона, скажем, с именем MY SMART SSD и добавьте его в группу шаблонов  Templates (если вы еще не создали группу для своих шаблонов).

Далее найдите этот шаблон в общем списке и добавьте в него элемент Items с помощью кнопки Create Items. Укажите такие параметры:

Name: 233 Media_Wearout_Indicator /dev/sda
Type: Zabbix Agent
Key: smartd.value[/dev/sda,0xe9]

Создайте аналогичный шаблон для диска /dev/sdb/.

Добавление триггера

Теперь откройте пока пустой список триггеров и щелкните кнопку Add Trigger. Для нового триггера задайте такие параметры:

Name: Life time SSD /dev/sda/ on {HOST.NAME}
Expression: last(/MY SMART SSD/smartd.value[/dev/sda,0xe9])<10

Аналогичный триггер создайте и для диска /dev/sdb.

Теперь, когда вы создали шаблон, подключите его к контролируемому серверу и наблюдайте получение данных через страницу Latest Data.

При необходимости подобным образом вы можете добавить в свой шаблон другие элементы данных и триггеры для отслеживания нужных вам параметров S.M.A.R.T.

В следующей статье мы займемся мониторингом аппаратных дисковых массивов, созданных с применением контроллера LSI.

Автор: Александр Фролов.

НЛО прилетело и оставило здесь промокод для читателей нашего блога:

— 15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

Мониторинг smart hdd zabbix windows

Пришла пора брать под контроль рабочие станции обычных пользователей. Поскольку компы работают уже не первый год хотелось бы быть в курсе здоровья жёсткого диска. Это позволит заранее организовать замену при большом количестве сбойных секторов. Представим, что мы находимся в домене, не важно с каким количеством машин. Это позволит нам автоматизировать процесс установки Zabbix-агента на рабочие станции.

Приступим. В первую очередь нам нужно подготовить конфигурацию. Для этого в файле zabbix_agentd.win.conf достаточно поместить содержимое:

Для мониторинга «жизненно важных» значений SMART HDD, достаточно использовать только строки с RAW_VALUE и VALUE. Остальные значения SMART может быть пригодятся, их можно оставить.

Или если на команду

диски определяются как

то в конфигу Zabbix агента нужно добавить строку

Ключ в элементах данных будет выглядеть, например, так:

Об остальных параметрах Zabbix-Агента рассказывать нет смысла, всё должно быть предельно понятно.

Пришло время распространить Zabbix-агент и smartmontools на рабочие станции. Весь этот пакет файлов я запихал в один архив. Кому нравится устанавливать отдельно, милости просим сюда и сюда. Директорию zabbix32 из архива мне показалось правильным запихать в директорию Windows, что бы особо продвинутые пользователи её не удалили. Хотя, с нашим скриптом который будет распространять директорию и запускать службу нам и это не страшно.

Создаём групповую политику для компьютера, которая будет запускать скрипт на рабочих станциях при старте системы. Содержимое скрипта:

Этот скрипт, при запуске на рабочей стануции, проверяет запущена ли служба с именем Zabbix Agent. Если да, то «что-то» незаметно сообщает. Если нет, то запускает копирование директории zabbix32 из директории с GPO в папку Windows на рабочей станции, устанавливает и запускает службу. Уникальный код политики не забываем поменять в пути скрипта.

Если служба установлена, порт TCP 10050 открыт, можно проверить работоспособность схемы. На Zabbix сервере должен быть установлен пакет zabbix-get:

и проверяем работоспособность, например:

Если в ответ получили значение, то всё отлично. Можно приступать к созданию графиков. Их можно создать по аналогии с зарисовкой по настройке мониторинга SMART, но для компов на Linux.

Источник

Zabbix: LLD-мониторинг дисков без UserParameter и скриптов на агентах

В предыдущей статье я описал низкоуровневый мониторинг дисков для Windows-машин. Считаю, что статья получилась достаточно успешная. Поэтому пришло время ее фактически уничтожить. Ниже будет описан универсальный прием для Windows- и Linux-машин, для которых вообще не нужны скрипты и UserParameter’ы.

Идея простая: все необходимое от smartmontools Zabbix-сервер будет получать через внешнюю обработку и zabbix_get, парсить и передавать далее в зависимые элементы (появились в Zabbix 3.4). Такие образом не только сокращается количество обращений к наблюдаемому серверу, но и не расходуются его ресурсы, так как парсинг происходит на стороне Zabbix-сервера.

Одно ограничение на данный момент: мониторинг дисков только формата /dev/sd*. Формат /dev/csmi*,* (Intel Matrix RAID) не поддерживается ввиду того, что zabbix_get считает запятую вторым аргументом. Поправьте меня, если я ошибаюсь.

Что понадобится для реализации:

Настройка агента

Единственное, что заслуживает здесь внимания, это необходимость раскомментировать строку EnableRemoteCommands = 1, иначе агент не сможет принимать команды.

Smartmontools

Установка тривиальна и рассматриваться не будет, однако для Linux есть одна необходимость: для того, чтобы запуск проходил без sudo, необходимо установить бит SUID на файл smartctl. Для Ubuntu это — sudo chmod u+s /usr/sbin/smartctl.

Скрипт

В зависимости от вашего файла конфигурации zabbix_server.conf этот скрипт нужно положить в соответствующую директорию на Zabbix-сервер. По умолчанию для Ubuntu это — /usr/lib/zabbix/externalscripts. Не забывайте дать на файл права на выполнение — sudo chmod 775 /usr/lib/zabbix/externalscripts/smartctl.sh.

Шаблон

Ниже я постараюсь подробно описать что же происходит на каждом этапе.
Первый этап: обнаружение доступных дисков sd* с помощью внешней проверки smartctl.sh с ключами и discovery. В ответ сервер получает JSON с дисками, на которых активирована функция SMART. Диски без SMART’а или не sd* не выводятся.

Третий этап: Info и Attr разбираются на зависимые элементы с помощью предобработки регулярными выражениями. Это самая простая часть. Собственно, вам только останется подогнать под себя «регулярку».

Вот и все. Не нужно держать в голове что и куда положить, отключить ли политику выполнения скриптов PS, отслеживать ту же версию PS. А в случае необходимости все изменения производятся на самом Zabbix’е в веб-интерфейсе.

В итоге хотелось бы просто сказать спасибо Алексею alexvl и его команде за качественный продукт, который не перестает радовать новым функционалом. Особенно за предобработку. Жизнь с ней администратору станет гораздо легче.

Источник

S.M.A.R.T + Zabbix | Windows

Наткнулся на статью сис.админа Zerox на счёт мониторинга S.M.A.R.T. диска средствами Zabbix. Но что-то у меня никак не получалось по его записи. Поэтому я опишу свой опыт настройки это необходимой вещи.

Если вы здесь потому что вы начали майнить Chia можете написать мне все мои Контакты, могу предложить услугу по внедрению этого решения на ваши фермы, уже есть опыт.

Будем разворачивать решение с Github. По сути, эта запись просто перевод с небольшими пояснениями. 🙂

Все необходимые компоненты я сложил в архив, который можно скачать с Я.Диска (если ссылка сломалась пишите к комменты, стучите на почту, смотрите на github).

Возможности решения

Данное решает такие задачи:

Подготовка Zabbix-Server

Всё, что Вам потребуется, это добавить замечательный шаблон в свой Zabbix.

Подготовка Zabbix-Agent Windows

Установка smartmontools

Ничего необычного, просто устанавливаем smartmontools, как обычную программу. Единственный момент, не рекомендую менять путь, иначе его надо будет менять в конфиге агента и в скрипте.

Конфигурирование агента

Создаем папку scripts и помещаем туда наш скрипт smartctl-disks-discovery.ps1

Открываем zabbix_agentd.conf и правим

И добавляем пользовательскую проверку

Осталось перезапустить агента и привязать наш хост к шаблону.

Примерно через час прилетят данные. (Для отладки можно поменять время обнаружения, я обычно ставлю 10 минут, меняем 1h на 10m. Главное, не забыть обратно вернуть).

Результат

Таким образом мы настроили мониторинг SSD и HDD дисков. Данное решение отлично показывает себя в проде. По критически важным дискам можно строить вот такие информативные графики. Мне нравится 🙂

ТраблШутинг

У меня такая проблема возникала, когда забыл ставить smartmontools

Источник

Zabbix мониторим жесткие диски Windows при помощи S.M.A.R.T

В данной статье будем прикручивать к Zabbix мониторинг жестких дисков Windows, для мониторинга жестких дисков Linux (Ubuntu) смотрите в этой статье.

Начнем с установки Smartmontools в Windows, скачиваем smartmontools от сюда выбираем последнюю версию (на момент написания статьи была использована версия smartmontools-5.41-1.win32-setup.exe) и устанавливаем (ничего не меняя, Далее..).

Добавляем строки в C:Program FilesZabbix Agentzabbix-agentd.conf:

Перезапускаем службу zabbix агента в Windows:

Пробуем получить с Zabbix-agent информацию о температуре жесткого диска. Это делается там, где установлен Zabbix сервер.

Остается сделать шаблон на web морде Zabbix сервера, смотрите в этой статье.

При проверке температуры Windows в ключе запроса нужно указывать sda

А можете подсказать немного по коду?

У меня при команде на виндовой машине

smartctl 6.1 2013-03-16 r3800 [i686-w64-mingw32-2008-sp2] (sf-6.1-1)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, http://www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK

А если на сервере с zabbix’ом выполнить команду

То выходит пустая строка.
Что нужно изменить, чтобы исправить это?

необходимо добавь в конфиг агента (zabbix_agentd.conf) параметр UnsafeUserParameters=1
иначе в командах недопустимы символы: ‘ ” ` *? [ ]

Дружище можно вопрос:
В отзывах о жёстком диске WD RE WD2000FYYZ говорится о каком-то TLER, который надо отключать если диск не в Рэйде, вот ссылка: http://www.ulmart.ru/goods/373048

Не подскажете о чём идёт речь, и как это задействовать?

Источник

Zabbix + S.M.A.R.T.

S.M.A.R.T.

S.M.A.R.T. (Self-Monitoring, Analysis and Reporting Technology; often written as SMART) is a monitoring system included in computer hard disk drives (HDDs), solid-state drives (SSDs), and eMMC drives

Available solutions

Also available for: 5.0

SMART by Zabbix agent 2

Overview

For Zabbix version: 5.4 and higher
The template for monitoring S.M.A.R.T. attributes of physical disk that works without any external scripts.
It collects metrics by Zabbix agent 2 version 5.0 and later with Smartmontools version 7.1 and later.
Disk discovery LLD rule finds all HDD, SSD, NVMe disks with S.M.A.R.T. enabled. Attribute discovery LLD rule finds all Vendor Specific Attributes
for each disk. If you want to skip some attributes, please set regular expressions with disk names in <$SMART.DISK.NAME.MATCHES>
and with attribute IDs in <$SMART.ATTRIBUTE.ID.MATCHES>macros on the host level.

This template was tested on:

Setup

Install the Zabbix agent 2 and Smartmontools 7.1.

Zabbix configuration

No specific Zabbix configuration is required.

Macros used

This macro is used in overrides of attribute discovery for filtering IDs. It can be overridden on the host or linked template level.

This macro is used in overrides of attribute discovery for filtering IDs. It can be overridden on the host or linked template level.

This macro is used for trigger expression. It can be overridden on the host or linked template level.

This macro is used for trigger expression. It can be overridden on the host or linked template level.

Template links

There are no template links in this template.

Discovery rules

Discovery SMART disks.

ZABBIX_PASSIVE smart.disk.discovery

Overrides:

Discovery SMART Vendor Specific Attributes of disks.

ZABBIX_PASSIVE smart.attribute.discovery

Overrides:

Items collected

Постановка задачи

Есть заббикс, есть сервер с SATA-дисками внутри без RAID-контроллера, необходимо мониторить состояние дисков.

Решение

Будем использовать пользовательские параметры в заббикс-агенте.
Для мониторинга нам понадобится программа smartctl.exe (скачать с моего сайта) из пакета smartmontools.
Файл положить в /etc/zabbix
Кроме того, на windows-хост нужно установить UnixUtils

Далее создаем конфиг для заббикс-агента

C:/zabbix/zabbix_agentd.conf.d/smart.conf:

UserParameter=smart.health[*],bash -c "c:/zabbix/smartctl.exe -a $1 |  gawk '/overall-health/ {print $$6}'"
UserParameter=smart.reallocated_sectors_count[*],bash -c "c:/zabbix/smartctl.exe -a $1 | gawk '/Reallocated_Sector/ {print $$10}'"

т.е. будем создаем в агенте пользовательские параметры smart.health и smart.reallocated_sectors_count

Рестартуем сервис zabbix, и проверяем на заббикс-сервере:

~# zabbix_get -s 192.168.1.41 -k smart.reallocated_sectors_count[/dev/hda] 
0

~# zabbix_get -s 192.168.1.41 -k smart.health[/dev/hda]
PASSED

Создаем параметры в Zabbix.

Можно взять мой темплейт: Template_HDD-SMART , в нем сделаны проверки для /dev/hda, правила обнаружения делать не стал.

для того, что бы узнать какие имена дисков использовать в параметрах показателей zabbix можно использовать следующую команду:

Skip to content

##### SMARTMONTOOLS HDD MONITORING#####################
UserParameter=HDD[*], for /F "tokens=10" %a in ('C:"Program Files"smartmontoolsbinsmartctl.exe -A $1 ^| find "$2"') do @echo %a
UserParameter=HDD.health.[*], for /F "tokens=6" %a in ('C:"Program Files"smartmontoolsbinsmartctl.exe -H $1 ^| find "test"') do @echo %a
UserParameter=HDD.model.[*],for /F "tokens=3*" %a in ('C:"Program Files"smartmontoolsbinsmartctl.exe -i $1 ^| find "Device Model"') do @echo %a %b
UserParameter=HDD.sn.[*],for /F "tokens=3" %a in ('C:"Program Files"smartmontoolsbinsmartctl.exe -i $1 ^| find "Serial Number"') do @echo %a
UserParameter=HDD.errorlog.[*], for /F "tokens=4" %a in ('C:"Program Files"smartmontoolsbinsmartctl.exe -l error $1 ^| find "ATA Error Count"') do @echo %a
UserParameter=HDD.rv.a,"C:"Program Files"smartmontoolsbinsmartctl.exe" -H -q silent /dev/sda & echo %errorlevel%
UserParameter=HDD.rv.b,"C:"Program Files"smartmontoolsbinsmartctl.exe" -H -q silent /dev/sdb & echo %errorlevel%
UserParameter=HDD.rv.c,"C:"Program Files"smartmontoolsbinsmartctl.exe" -H -q silent /dev/sdb & echo %errorlevel%

START -> Control Panel -> Administrative Tools -> Services

Ищем zabbix-agent -> Stop -> Start

zabbix_get -s 192.168.1.5 -k HDD[sdb,Temperature_Celsius]

emerge sys-apps/smartmontools -av

Установка скрипта

mkdir /etc/zabbix/scripts/
chown root:zabbix -R /etc/zabbix/scripts/
chmod 750 /etc/zabbix/scripts/

chown root:zabbix /etc/zabbix/scripts/smart-stats.sh
chmod 550 /etc/zabbix/scripts/smart-stats.sh

...

##### CUSTOM #####
zabbix ALL=(ALL) NOPASSWD: /usr/sbin/smartctl

sudo -u zabbix /etc/zabbix/scripts/smart-stats.sh none sda Temperature_Celsius

Настройка Zabbix Agent

...

UserParameter=smart[*],/etc/zabbix/scripts/smart-stats.sh none "$1" "$2"

/etc/init.d/zabbix-agentd restart

zabbix_get -s HOST -k 'smart[sda,Temperature_Celsius]'

Настройка Zabbix Server

smart[dev,key]

Результат