AndrewComfort
New member
Полтора года назад я относился к разговорам про AI-агентов примерно как к гороскопам: интересно, но к моей работе отношения не имеет. А потом у нас освободился кусок бюджета, и я решил попробовать. Пишу этот текст не как евангелист и не как хейтер, а как человек, который уже наступил на все грабли и теперь аккуратно ходит вокруг них.
Начиналось всё безобидно: агент читал логи ночных выгрузок и утром присылал мне в чат список подозрительных мест. Это была чистая польза — я перестал тратить первые сорок минут дня на раскапывание того, что всё равно находил. Радость длилась недели три, а потом мне показалось, что я готов дать ему «чуть-чуть прав». Всего лишь запускать ретрай упавшей выгрузки. Безобидный же сценарий, да?
Именно там и родилась моя первая настоящая катастрофа. Агент увидел падение и перезапустил процесс. Процесс упал снова. Агент перезапустил ещё раз. К третьему кругу у нас закончились доступные соединения к базе, а к пятому наверх посыпались алерты, потому что лежал уже не бэкап, а весь ночной конвейер. Формально агент сделал ровно то, что я ему разрешил. Фактически я выдал циклу с правом записи лицензию на самоподдержку, и он честно ей воспользовался. Урок номер один, который я теперь повторяю как мантру: агент не понимает последствий, он понимает только формулировку цели.
Второе, что я вынес — права надо выдавать не по удобству, а по принципу наименьшей необходимости, и начинать всегда с режима только для чтения. Пусть агент месяц смотрит, предлагает и строит гипотезы, пока вы сверяете их руками. Если он ошибётся в диагнозе, вы потеряете десять минут. Если он ошибётся в действии, вы потеряете ночь на разбор и остатки доверия со стороны коллег. Разница в цене вопроса — на порядок, а выглядит всё одинаково убедительно в презентации.
Третье — любое необратимое действие должно упираться в человека или в жёсткий предел. У нас теперь есть три вещи, без которых я не запускаю ни одного агента в проде: суточный лимит на количество операций, потолок на стоимость вызовов и физическая кнопка остановки, которую может нажать дежурный, не разбираясь в устройстве системы. Плюс идемпотентность: повторный запуск одной и той же операции не должен ничего ломать. Звучит скучно, но именно скучные ограничения спасли меня от второй катастрофы, когда агент решил «оптимизировать» очередь и почти разнёс прод в пятницу вечером.
Четвёртое — наблюдаемость важнее интеллекта. Мне не нужен агент, который поумнел, мне нужен агент, про которого я могу в любой момент сказать, почему он сделал шаг номер семнадцать и на основании чего. Мы пишем каждый вызов инструмента, каждое решение и каждую причину отказа. Алерты настроены не только на ошибки, но и на аномалии: слишком много действий за минуту, слишком дорогой вызов, обращение к ресурсу, к которому агент раньше не подходил. Половину проблем дешевле поймать на странном графике, чем на упавшем сервисе.
Пятое, уже про бизнес. Автоматизация ради модности — самый дорогой способ выглядеть современным. Я честно посчитал: агент на триаже инцидентов экономит нам примерно шесть человеко-часов в неделю и стоит заметно меньше этой экономии. Агент, который «сам всё чинит», обошелся бы дороже в поддержке и рисках, чем просто дежурный инженер. Поэтому мой совет: выбирайте один узкий процесс с понятной метрикой успеха, замерьте его до внедрения, а не после, и честно считайте не только расходы на модель, но и время команды на разбор её косяков.
И последнее, самое важное. AI-агенты в проде — это не про то, можно ли доверять модели. Это про то, можно ли доверять себе, когда выдаёшь ей доступ. Я до сих пор считаю, что автоматизация приносит огромную пользу, и с каждым месяцем делаю с её помощью то, что раньше откладывал месяцами. Просто теперь я сначала строю забор, а потом пускаю кого-то в сад.
А расскажите, как у вас? Давали ли ваши агенты в проде что-нибудь по-настоящему смешное и полезное одновременно — и что стало тем самым ограничителем, который однажды спас вам ночь?
Начиналось всё безобидно: агент читал логи ночных выгрузок и утром присылал мне в чат список подозрительных мест. Это была чистая польза — я перестал тратить первые сорок минут дня на раскапывание того, что всё равно находил. Радость длилась недели три, а потом мне показалось, что я готов дать ему «чуть-чуть прав». Всего лишь запускать ретрай упавшей выгрузки. Безобидный же сценарий, да?
Именно там и родилась моя первая настоящая катастрофа. Агент увидел падение и перезапустил процесс. Процесс упал снова. Агент перезапустил ещё раз. К третьему кругу у нас закончились доступные соединения к базе, а к пятому наверх посыпались алерты, потому что лежал уже не бэкап, а весь ночной конвейер. Формально агент сделал ровно то, что я ему разрешил. Фактически я выдал циклу с правом записи лицензию на самоподдержку, и он честно ей воспользовался. Урок номер один, который я теперь повторяю как мантру: агент не понимает последствий, он понимает только формулировку цели.
Второе, что я вынес — права надо выдавать не по удобству, а по принципу наименьшей необходимости, и начинать всегда с режима только для чтения. Пусть агент месяц смотрит, предлагает и строит гипотезы, пока вы сверяете их руками. Если он ошибётся в диагнозе, вы потеряете десять минут. Если он ошибётся в действии, вы потеряете ночь на разбор и остатки доверия со стороны коллег. Разница в цене вопроса — на порядок, а выглядит всё одинаково убедительно в презентации.
Третье — любое необратимое действие должно упираться в человека или в жёсткий предел. У нас теперь есть три вещи, без которых я не запускаю ни одного агента в проде: суточный лимит на количество операций, потолок на стоимость вызовов и физическая кнопка остановки, которую может нажать дежурный, не разбираясь в устройстве системы. Плюс идемпотентность: повторный запуск одной и той же операции не должен ничего ломать. Звучит скучно, но именно скучные ограничения спасли меня от второй катастрофы, когда агент решил «оптимизировать» очередь и почти разнёс прод в пятницу вечером.
Четвёртое — наблюдаемость важнее интеллекта. Мне не нужен агент, который поумнел, мне нужен агент, про которого я могу в любой момент сказать, почему он сделал шаг номер семнадцать и на основании чего. Мы пишем каждый вызов инструмента, каждое решение и каждую причину отказа. Алерты настроены не только на ошибки, но и на аномалии: слишком много действий за минуту, слишком дорогой вызов, обращение к ресурсу, к которому агент раньше не подходил. Половину проблем дешевле поймать на странном графике, чем на упавшем сервисе.
Пятое, уже про бизнес. Автоматизация ради модности — самый дорогой способ выглядеть современным. Я честно посчитал: агент на триаже инцидентов экономит нам примерно шесть человеко-часов в неделю и стоит заметно меньше этой экономии. Агент, который «сам всё чинит», обошелся бы дороже в поддержке и рисках, чем просто дежурный инженер. Поэтому мой совет: выбирайте один узкий процесс с понятной метрикой успеха, замерьте его до внедрения, а не после, и честно считайте не только расходы на модель, но и время команды на разбор её косяков.
И последнее, самое важное. AI-агенты в проде — это не про то, можно ли доверять модели. Это про то, можно ли доверять себе, когда выдаёшь ей доступ. Я до сих пор считаю, что автоматизация приносит огромную пользу, и с каждым месяцем делаю с её помощью то, что раньше откладывал месяцами. Просто теперь я сначала строю забор, а потом пускаю кого-то в сад.
А расскажите, как у вас? Давали ли ваши агенты в проде что-нибудь по-настоящему смешное и полезное одновременно — и что стало тем самым ограничителем, который однажды спас вам ночь?