Первую свою неделю на дежурстве я запомнил не по инцидентам, а по тому, как перестал спать. Телефон лежал рядом с подушкой, звук был выкручен на максимум, и каждый шорох в квартире я принимал за вибрацию пейджера. К четвергу я уже с трудом вспоминал, какое сегодня число, а к пятнице поймал себя на том, что ненавижу не работу, а сам факт того, что мне могут позвонить. Это и есть начало выгорания, только тогда я ещё не знал, как оно называется.
Мы были классической командой из шести человек с одним общим каналом алертов. Дежурил всегда самый смелый или самый новый. Сигналы сыпались пачками: диск заполнился на восемьдесят процентов, кто-то закоммитил лишний лог, метрика дважды дёрнулась и вернулась в норму. Каждую ночь приходилось вставать, идти к ноутбуку и выяснять, что на самом деле ничего не сломалось. За полгода такой жизни из команды ушли трое, и, честно говоря, я их не осуждаю.
Точка перелома случилась в скучную ночь, когда меня разбудили трижды подряд из-за одной и той же метрики. В четвёртый раз я просто сидел и смотрел в стену, понимая, что не могу заставить себя открыть ноутбук. Тогда я пошёл к руководителю не с жалобой, а с цифрами: сколько раз за месяц нас будили, сколько из этих сигналов оказались настоящими, сколько часов мы суммарно провели в дежурстве. Выяснилось, что примерно девять из десяти страниц были шумом. С этого разговора всё и началось.
Первое, что мы сделали, — перестали считать дежурство почётной обязанностью героя. Появилось расписание на квартал вперёд, смена длится ровно неделю, а передача — это отдельная короткая встреча с отчётом: что горело, что починили, что до сих пор болит. Второе — правило отбойного утра после тяжёлой ночи: если человека подняли после двух часов ночи, утром он не работает, и это не обсуждается. Третье — у нас появился человек, который не дежурит, а только смотрит на алерты со стороны. Мы называем его садовником. Он выпалывает шум.
Отдельная боль — качество сигналов. Мы ввели простой тест: если по алерту нельзя ничего сделать руками, значит, это не алерт, а запись в утренний дайджест. Каждый сигнал теперь имеет владельца, разумный порог срабатывания и понятную инструкцию, что именно проверить в первую очередь. Поначалу было неприятно удалять половину мониторинга, который мы сами же и настроили, но количество ночных побудок упало в разы, а настоящие инциденты мы стали ловить быстрее, потому что перестали отвлекаться на ерунду.
Ещё несколько вещей, которые я посоветую любой команде. Платите за дежурство явно — деньгами или отгулами, но так, чтобы это было видно в расчёте, а не выглядело подачкой. Разбирайте инциденты без поиска виноватых, иначе люди начнут молчать о своих ошибках, а молчание в дежурстве дороже всего. И считайте нагрузку: сколько раз будили, сколько времени ушло на реакцию, сколько сигналов оказались ложными. Эти три числа расскажут о самочувствии команды больше, чем любой опрос вовлечённости.
Сейчас наше дежурство воспринимается примерно как поход к стоматологу: неприятно, но предсказуемо и не разрушает неделю. Люди спят, отпуска не сгорают, а текучка в команде за два года стала почти нулевой. И самое главное — я снова могу оставить телефон в другой комнате и не вздрагивать. Для меня это и есть главный показатель того, что дежурство построено правильно.
А как устроено дежурство у вас? Расскажите, что помогло вашей команде выжить в ночных алертах и не превратиться в зомби, — мне правда интересно сравнить чужой опыт со своим.
Мы были классической командой из шести человек с одним общим каналом алертов. Дежурил всегда самый смелый или самый новый. Сигналы сыпались пачками: диск заполнился на восемьдесят процентов, кто-то закоммитил лишний лог, метрика дважды дёрнулась и вернулась в норму. Каждую ночь приходилось вставать, идти к ноутбуку и выяснять, что на самом деле ничего не сломалось. За полгода такой жизни из команды ушли трое, и, честно говоря, я их не осуждаю.
Точка перелома случилась в скучную ночь, когда меня разбудили трижды подряд из-за одной и той же метрики. В четвёртый раз я просто сидел и смотрел в стену, понимая, что не могу заставить себя открыть ноутбук. Тогда я пошёл к руководителю не с жалобой, а с цифрами: сколько раз за месяц нас будили, сколько из этих сигналов оказались настоящими, сколько часов мы суммарно провели в дежурстве. Выяснилось, что примерно девять из десяти страниц были шумом. С этого разговора всё и началось.
Первое, что мы сделали, — перестали считать дежурство почётной обязанностью героя. Появилось расписание на квартал вперёд, смена длится ровно неделю, а передача — это отдельная короткая встреча с отчётом: что горело, что починили, что до сих пор болит. Второе — правило отбойного утра после тяжёлой ночи: если человека подняли после двух часов ночи, утром он не работает, и это не обсуждается. Третье — у нас появился человек, который не дежурит, а только смотрит на алерты со стороны. Мы называем его садовником. Он выпалывает шум.
Отдельная боль — качество сигналов. Мы ввели простой тест: если по алерту нельзя ничего сделать руками, значит, это не алерт, а запись в утренний дайджест. Каждый сигнал теперь имеет владельца, разумный порог срабатывания и понятную инструкцию, что именно проверить в первую очередь. Поначалу было неприятно удалять половину мониторинга, который мы сами же и настроили, но количество ночных побудок упало в разы, а настоящие инциденты мы стали ловить быстрее, потому что перестали отвлекаться на ерунду.
Ещё несколько вещей, которые я посоветую любой команде. Платите за дежурство явно — деньгами или отгулами, но так, чтобы это было видно в расчёте, а не выглядело подачкой. Разбирайте инциденты без поиска виноватых, иначе люди начнут молчать о своих ошибках, а молчание в дежурстве дороже всего. И считайте нагрузку: сколько раз будили, сколько времени ушло на реакцию, сколько сигналов оказались ложными. Эти три числа расскажут о самочувствии команды больше, чем любой опрос вовлечённости.
Сейчас наше дежурство воспринимается примерно как поход к стоматологу: неприятно, но предсказуемо и не разрушает неделю. Люди спят, отпуска не сгорают, а текучка в команде за два года стала почти нулевой. И самое главное — я снова могу оставить телефон в другой комнате и не вздрагивать. Для меня это и есть главный показатель того, что дежурство построено правильно.
А как устроено дежурство у вас? Расскажите, что помогло вашей команде выжить в ночных алертах и не превратиться в зомби, — мне правда интересно сравнить чужой опыт со своим.