Мониторинг доступности и нагрузки сайта

Сайт может лежать с вечера пятницы, а узнаете вы об этом в понедельник от клиента.

Рассказываем, как устроен наш мониторинг: что он проверяет, почему не звонит по пустякам и что видно вам.

«Открывается» — это ещё не «работает»

Самый простой мониторинг раз в минуту дёргает главную страницу: ответила — значит, всё хорошо. Так делают почти все, и это лучше, чем ничего. Но проверка отвечает только на один вопрос: «включён ли свет в подъезде».

Главная при этом может открываться идеально, пока:

• заявки с формы не уходят — почтовый сервис отвалился, и письма молча теряются;

• каталог показывает вчерашние цены — обмен с 1С встал три дня назад;

• на диске кончилось место, и сайт перестал принимать загрузки;

• оплата не проходит — истёк ключ платёжного шлюза;

• вместо капчи пустое место, и форму заваливает спам.

Ни одна из этих поломок не роняет главную страницу. Все они стоят денег — и обнаруживаются обычно тогда, когда кто-то из клиентов не дозвонился до вас через форму.

Health-ручка: медосмотр вместо взгляда на дверь

Поэтому на сайтах, которые мы ведём, мы заводим служебный адрес — «health-ручку». Это закрытая токеном страница, которую сайт отдаёт не человеку, а нашему мониторингу. По ней сайт сам отчитывается о себе изнутри: жива ли база, сколько осталось места, работает ли обмен с CRM, отвечает ли платёжный шлюз, не застряла ли очередь писем.

Выглядит ответ примерно так — и раз в десять минут мы читаем его целиком, а не только код ответа:

GET /health?token=•••HTTP 200 · 340 мс

"status": "degraded",
"checks": [
  { "проверка": "База данных",       "status": "ok",   "состояние": "отклик 12 мс" },
  { "проверка": "Место на диске",    "status": "ok",   "состояние": "занято 61%" },
  { "проверка": "Почта заявок",      "status": "ok",   "состояние": "очередь пуста" },
  { "проверка": "Обмен с 1С",        "status": "fail", "состояние": "нет выгрузки 3 дня" },
  { "проверка": "Капча на формах",   "status": "ok",   "состояние": "ключ активен" }
]

Набор проверок у каждого проекта свой: у интернет-магазина это склад и оплата, у медиа — импорт новостей, у сервиса с личным кабинетом — очереди и внешние API. Ручку пишем под ваш сайт: она знает, что для него значит «работает», а мы просто читаем её ответ.

Если у сайта такой ручки нет — ничего страшного, мониторинг всё равно работает в простом режиме: проверяем, что сайт открывается и отдаёт нормальный ответ. Ручку можно добавить потом, отдельной небольшой задачей.

Мониторинг, который врёт, хуже, чем никакого

Это главный урок, который мы вынесли из предыдущей версии своей системы. Она честно проверяла сайты — и слала в чат «Код: 0, соединение разорвано» по десять раз в неделю. Открываешь сайт руками — работает. Через месяц такие сообщения перестают читать все, включая дежурного. А потом в этом потоке теряется настоящая авария.

Сигнал тревоги имеет ценность ровно до тех пор, пока на него реагируют. Поэтому мы потратили больше времени на то, чтобы мониторинг молчал в правильные моменты, чем на сами проверки.

Что мы сделали, чтобы ложных тревог не было:

• Три попытки внутри одной проверки. Одна неудача — это ещё не событие: интернет иногда просто моргает.

• Подтверждение на нескольких прогонах. Тревога уходит людям, только если картина повторилась.

• Разные пороги для разных бед. Сайт отвечает ошибкой — это почти всегда правда, ждём недолго. Обрыв соединения или таймаут — типичная «моргалка», ждём дольше.

• Пишем и о выздоровлении. Сообщение «упал» без парного «поднялся» оставляет человека в тревоге, поэтому второе приходит обязательно.

Когда мониторинг вас беспокоитпроверка каждые 10 минут

Мир не делится на «работает» и «упало»

Между зелёным и красным есть жёлтый, и это не придирка. Несколько примеров, которые мы специально научились отличать:

• Сертификат отдан не полностью. Браузеры такое достраивают сами — люди ничего не замечают, сайт работает. Будить кого-то ночью незачем, но и молчать нельзя: часть мобильных приложений и платёжных сервисов на этом спотыкается. Это жёлтая отметка и задача в план, а не авария.

• Истёкший или чужой сертификат — уже красное: браузер показывает предупреждение на весь экран, и посетители уходят.

• Сайт закрыт паролем. Тестовые стенды мы намеренно прячем за паролем. Сервер отвечает «сюда нельзя» — значит, он жив. Считать это падением было бы глупо, и мы не считаем.

• Домен на кириллице. Такие адреса нужно приводить к техническому виду перед запросом, иначе сервер ответит ошибкой на пустом месте — и мониторинг будет «ронять» совершенно здоровый сайт.

Такие мелочи не видны в рекламе сервисов мониторинга, но именно из них состоит разница между системой, которой доверяют, и очередным источником шума.

Нагрузка и то, что заканчивается

Вторая половина работы — не про «упало», а про «скоро упадёт». Аварии редко случаются внезапно: у них почти всегда есть предыстория, которую видно за недели.

• Место на диске. Раз в сутки собираем, сколько занимает каждый сайт. Заполненный диск — одна из самых обидных аварий: сайт перестаёт принимать файлы и писать в базу, при этом «вроде работает». Растущий график виден заранее, и вопрос решается уборкой логов или расширением тарифа — спокойно, в рабочее время.

• Сроки домена и хостинга. Даты окончания мы забираем из официальных реестров, а не полагаемся на письма регистратора, которые уходят в спам или на почту уволившегося сотрудника. Раз в день собираем одну общую сводку: что заканчивается в ближайшее время.

• Версии CMS и шаблона. Отдельно следим, на каких версиях живут сайты: отставание на пару лет — это не «неаккуратно», это открытая дверь.

Незаметная деталь: реестры доменов не любят частых обращений и начинают отвечать отказом. Поэтому опрос идёт по ночам, с паузами между запросами. Мониторинг не должен создавать проблемы там, где их не было.

Что из этого видите вы

Каждая проверка попадает в журнал, и из него собирается страница «Доступность» — она открыта вам в любой момент, а не только когда мы присылаем отчёт. Один квадрат — один день:

День считается «плохим», если в нём была хотя бы одна неудачная проверка — так же, как это показывают публичные страницы состояния крупных сервисов. Рядом с календарём хранится история: какая именно проверка падала в этот день. Через месяц не придётся вспоминать, что случилось семнадцатого.

И одно принципиальное правило: если за период данных нет, мы не рисуем 100 %. Отсутствие проверок — это отсутствие проверок, а не безупречная работа. Красивая цифра, за которой ничего не стоит, обесценивает все остальные.

Что это даёт в деньгах и нервах

Как это подключается

Базовый мониторинг доступности мы включаем сразу — от вас ничего не нужно, только адрес сайта. Health-ручка — отдельная небольшая задача: мы обсуждаем, что для вашего проекта значит «работает», и добавляем проверки. Технология сайта не важна: мы читаем несколько распространённых форматов ответа и подстраиваемся под то, что уже есть на проекте, вместо того чтобы переписывать его под себя.

Дальше система живёт сама: проверяет каждые десять минут, пишет журнал, беспокоит людей только по делу и раз в месяц показывает честную картину.

Ведём сайт на поддержке или только собираетесь передать его нам — расскажем, что конкретно у вас имеет смысл мониторить, и покажем страницу доступности на живом проекте.