Граница проходит не по «уровню доверия к ИИ», а по свойствам самого действия: обратимо ли оно и будет ли ошибка замечена. Обратимое и заметное действие агент может выполнять сам. Необратимое либо незаметное требует подтверждения человеком — независимо от того, насколько хорошо агент работает на тестах.
Матрица решения
| Ошибка заметна | Ошибка незаметна | |
|---|---|---|
| Действие обратимо | автономно | автономно + регулярная проверка выборки |
| Действие необратимо | подтверждение | подтверждение, пересмотреть сценарий |
Правый нижний угол заслуживает внимания: если действие нельзя откатить и ошибку никто не заметит, дело не в подтверждении, а в том, что процесс спроектирован опасно. Такие сценарии стоит переделывать, а не обвешивать согласованиями.
Что считать необратимым
Не всё, что кажется необратимым, таково, и наоборот.
Действительно необратимо:
- отправленное клиенту сообщение;
- проведённый платёж;
- переданные третьей стороне данные;
- удалённая запись без резервной копии;
- поданный отчёт в государственную систему.
Кажется необратимым, но обратимо:
- созданная заявка — удаляется;
- изменённый статус — возвращается;
- назначенный ответственный — переназначается.
Кажется обратимым, но нет:
- изменение записи без истории версий: старое значение восстановить нечем;
- действие, о котором узнала другая сторона, — технически откатывается, но факт уже известен.
Последний пункт объясняет, почему отправка сообщения всегда требует подтверждения: письмо можно удалить из системы, но не из головы получателя.
Промежуточные режимы
Выбор не сводится к «всё сам» или «спрашивать каждый раз».
Подтверждение по порогу. Действия до определённой суммы или в рамках типовых параметров — автономно, выше — с согласованием. Самый практичный режим для работы с деньгами.
Подтверждение по неуверенности. Агент действует сам, когда уверен, и спрашивает в спорных случаях. Требует, чтобы агент умел различать эти состояния, — на практике реализуется через явное правило «при нехватке данных не додумывать, а спрашивать».
Отложенное исполнение. Агент выполняет действие, но с задержкой и уведомлением: «через 10 минут будет отправлено письмо, отменить». Сохраняет скорость и оставляет окно для вмешательства. Подходит там, где подтверждение каждого действия убило бы смысл автоматизации.
Пакетное подтверждение. Агент готовит партию действий, человек просматривает список и утверждает разом. Экономит время по сравнению с поштучным согласованием.
Как снимать подтверждения
Начинать стоит с подтверждения всего, даже если целевое состояние — автономность. Это не перестраховка, а способ получить данные: никакое тестирование не заменит статистику на реальном потоке.
Последовательность:
- Запуск с подтверждением каждого действия.
- Накопление статистики: сколько подтверждений прошло без правок, где человек исправлял.
- Снятие подтверждения по конкретным операциям, где доля правок стабильно низка.
- Остальные остаются под контролем.
- Регулярная выборочная проверка того, что стало автономным.
Пункт 3 — по операциям, а не целиком. «Создание заявки» может стать автономным, пока «изменение суммы» остаётся под подтверждением.
Пункт 5 обязателен: снятое подтверждение не означает, что за операцией больше не следят. Качество агента дрейфует вместе с изменением данных и обновлением моделей.
Чего стоит подтверждение
У режима есть цена, и её нужно учитывать честно.
Скорость. Агент, ждущий человека, работает со скоростью человека. Если задача требовала мгновенной реакции, подтверждение может обесценить весь проект.
Нагрузка на людей. Подтверждение сотни действий в день — это работа, которая может съесть сэкономленное время.
Формальное согласование. Главный риск: человек, подтверждающий однотипные действия, перестаёт вчитываться и начинает нажимать «да» автоматически. Тогда контроль существует на бумаге, а не в реальности.
Последнее лечится не дисциплиной, а конструкцией: если подтверждений так много, что их перестают читать, надо снимать их с безопасных операций и оставлять на действительно рискованных. Подтверждение всего подряд хуже, чем подтверждение важного.
Как оформить подтверждение
- Показывать что именно будет сделано, конкретными значениями, а не «создать заявку».
- Показывать на основании чего агент так решил — исходное обращение, найденные данные.
- Давать не только «да / нет», но и правку: часто человеку нужно поменять одно поле, а не отклонить всё.
- Фиксировать в журнале, кто подтвердил и что изменил.
Четвёртый пункт нужен и для разбора инцидентов, и для той самой статистики, по которой потом снимаются подтверждения.
Расчёт: сколько стоит режим подтверждений
Подтверждение — не бесплатная мера предосторожности, у неё есть цена в часах. Посчитаем, где она перестаёт окупаться. Числа условные.
Исходные данные:
| Величина | Значение |
|---|---|
| Задач в день | 300 |
| Время на подтверждение одной | 20 секунд |
| Время ручного выполнения задачи | 4 минуты |
Режим «подтверждать всё»:
```
подтверждения: 300 × 20 сек = 100 минут ≈ 1,7 часа в день
было вручную: 300 × 4 мин = 20 часов в день
экономия ≈ 18,3 часа
```
Экономия сохраняется — подтвердить быстрее, чем сделать.
Теперь сценарий, где подтверждение съедает смысл. Пусть задача проще: время ручного выполнения — 40 секунд, а подтверждение требует вникнуть и занимает 20.
```
подтверждения: 300 × 20 сек = 100 минут
было вручную: 300 × 40 сек = 200 минут
экономия ≈ 100 минут, то есть вдвое
```
Половина выигрыша уходит на согласование. При времени подтверждения 30 секунд экономия падает до четверти, и проект становится сомнительным.
Правило, которое отсюда следует: подтверждение окупается, пока занимает заметно меньше, чем само действие. Для сложных задач это почти всегда так, для простых и массовых — часто нет.
Что делать, когда не окупается:
- перевести в пакетный режим: 300 действий списком просматриваются за минуты, а не по одному;
- подтверждать по порогу: 90 % типовых случаев автономно, 10 % нестандартных — с согласованием;
- отложенное исполнение с окном на отмену — время человека тратится только при вмешательстве.
Скрытая статья, которую не видно в расчёте. При потоке в сотни однотипных подтверждений человек перестаёт вчитываться, и контроль становится формальным. Тогда вы платите часами и не получаете безопасности. Это довод не за отказ от подтверждений, а за то, чтобы оставлять их только там, где каждое требует настоящего внимания.
Частые вопросы
Когда ИИ-агент может действовать автономно?
Когда действие обратимо и ошибка будет замечена. Создание заявки, изменение статуса, назначение ответственного — всё это откатывается, и агенту можно доверить их без согласования. Необратимые действия — отправка сообщений, платежи, передача данных вовне — требуют подтверждения независимо от качества агента на тестах.
Не убивает ли подтверждение смысл автоматизации?
Убивает, если подтверждать всё подряд. Экономия сохраняется, когда согласование остаётся только на рискованных операциях, а безопасные выполняются автономно. Помогают промежуточные режимы: подтверждение по порогу суммы, пакетное утверждение списком, отложенное исполнение с возможностью отменить.
Как понять, что подтверждение можно снять?
По накопленной статистике конкретной операции: если человек длительное время подтверждает её без правок, контроль можно снять именно с неё, оставив остальные. Решение принимается по операциям, а не по агенту целиком, и сопровождается регулярной выборочной проверкой — качество со временем дрейфует.
Что делать, если сотрудники подтверждают не глядя?
Считать это не нарушением дисциплины, а признаком того, что подтверждений слишком много. Формальное согласование опаснее его отсутствия: контроль существует на бумаге. Решение — снять подтверждение с безопасных операций и оставить на действительно рискованных, чтобы каждое требовало внимания.
Стоит ли сразу запускать агента автономным?
Нет. Даже если цель — полная автономность, начинать следует с подтверждения каждого действия: это единственный способ получить реальную статистику ошибок до того, как они станут необратимыми. Тестирование показывает поведение на подготовленных сценариях, живой поток — на настоящих.
Что дальше
Как ограничения реализуются технически — «Ограничение действий ИИ-агента». Что проверять до запуска — «Тестирование ИИ-агента». Как этот выбор влияет на сроки и бюджет — «Разработка ИИ-агента: этапы и стоимость». Типовой сценарий с подтверждениями — «ИИ-агент для обработки заявок».
Определение границы автономности — решение владельца процесса; проработка входит в разработку и внедрение ИИ-агента.