Автономность — мера самостоятельности агента: какие действия он выполняет сам, а какие только предлагает. Это не техническая настройка, а решение о распределении ответственности.
Уровни
Подсказка. Агент предлагает вариант, человек выполняет. Полезно на старте: видно, что предложил бы агент, без риска.
Подготовка с подтверждением. Агент готовит действие целиком — письмо, заявку, документ, — человек нажимает «отправить». Основной рабочий режим для большинства задач.
Действие с уведомлением. Агент делает сам, человек видит в журнале и может откатить. Годится там, где действие обратимо.
Полная автономность. Агент действует без участия человека. Оправдана на обратимых операциях с известным потолком ущерба.
Уровень реализуется кодом, а не настройкой модели. Конкретно это три вещи: список доступных инструментов, правило обязательного подтверждения и лимиты. У модели нет параметра «автономность» — есть то, что вы позволяете исполнять её вызовам.
Как выбирать уровень
Вопрос не «насколько мы доверяем модели», а «что будет, если она ошибётся». Три критерия:
Обратимость. Можно ли отменить и за какое время.
Видимость снаружи. Ошибка внутри системы и ошибка, ушедшая клиенту, стоят по-разному.
Величина ущерба. Разовая или накапливающаяся: агент, ошибающийся в одной заявке из ста, за месяц ошибётся в десятках.
Что ограничивать технически
Четыре оси ограничений. Права инструментов — какие инструменты агенту вообще видны; бюджет шагов и токенов — потолок на одну задачу, чтобы зацикливание не превращалось в счёт; суммы и объёмы — лимит на одну операцию и дневной лимит на серию операций; частота — не более стольких-то действий за период. Разовый потолок удерживает одну ошибку, дневной — серию: зацикливание и повторные вызовы без него выливаются в десятки одинаковых операций.
Ограничение живёт в коде. Просьба в промпте «не совершай дорогих операций» ограничением не считается: промпт влияет на вероятности, а не на возможности. Если инструмент недоступен агенту — он физически не может его вызвать; если доступен с лимитом — ошибка ограничена потолком.
Правило наименьших привилегий. Агент получает минимальный набор прав, необходимый для текущего уровня автономии; каждое расширение — отдельное решение на данных, а не «добавим на всякий случай». Практическая реализация: отдельный сервисный аккаунт на агента с правами по роли, а не токен сотрудника. Иначе журнал действий не аудитируется по-настоящему, а отзыв доступа превращается в расследование.
Лимиты и права пересматриваются вместе. Расширение автономии без пересмотра лимитов — половина решения: агент с правом отправлять платежи, но без дневного потолка копит риск быстрее, чем это видно по статистике ошибок.
Журнал — условие существования уровней выше первого. «Действие с уведомлением» означает, что человек видит случившееся в журнале и может откатить; без полноты журнала это превращается в «действие, о котором никто не узнал». Чем выше уровень, тем строже требования к записи: кто инициировал, что вызвано, с какими аргументами, что исполнилось. Полная трассировка — тема статьи «Оркестрация агентов».
Смешанная схема
На практике редко нужен единый уровень для всего. Обычно работает так: обратимые действия агент делает сам, необратимые готовит и передаёт на подтверждение, а порог подтверждения зависит от суммы или типа клиента.
Разумно начинать с подтверждения всего и снимать его выборочно по мере накопления статистики ошибок — а не наоборот. Где именно встроить подтверждения и как их строить, чтобы они не выродились в формальность, — тема статьи «Человек в контуре».
Ловушка постепенного расширения
Типичный сценарий: агент работает хорошо, полномочия расширяют, потом ещё, и в какой-то момент он получает права, при которых ошибка становится дорогой. При этом ни одно решение по отдельности не выглядело рискованным.
Страхует от этого простое правило: при каждом расширении полномочий заново отвечать на вопрос «что произойдёт при ошибке» — и записывать ответ.
Как накапливать основания для расширения
Решение снять подтверждение должно опираться на данные, а не на ощущение, что «всё работает нормально». Минимальный набор: сколько действий этого типа агент подготовил, в скольких случаях человек внёс правку, и какого характера были правки.
Разумный порог — несколько сотен действий подряд без содержательных исправлений. Косметические правки формулировок не считаются, а вот изменение суммы, адресата или сути — считается.
И расширять стоит по одному типу действий за раз, чтобы при ухудшении было понятно, что откатывать.
Признаки неверно выбранного уровня видны по двум числам. Занижен: очередь подтверждений растёт, среднее время между подготовкой действия и нажатием «отправить» — тоже; люди начинают утверждать не глядя. Завышен: растёт доля содержательных правок и возвратов, появляются разовые инциденты, которых раньше не было. Оба числа дешевле снимать из журнала, чем восстанавливать по памяти.
Частые вопросы
С какого уровня автономности начинать?
С подтверждения всех действий. Это даёт статистику ошибок на реальных задачах без риска. Снимать подтверждение стоит выборочно и по данным — на тех типах действий, где за месяцы наблюдения ошибок не было, — а не сразу и целиком.
Какие действия нельзя отдавать агенту полностью?
Необратимые и видимые снаружи: отправку сообщений клиентам, платежи, удаление данных, изменение юридически значимых статусов. Здесь подтверждение человеком — не перестраховка, а условие допуска системы к работе.
Не превращается ли подтверждение в формальность?
Превращается, если человек подтверждает сотню действий в день не глядя. Работает выборочная проверка и подтверждение только там, где агент не уверен или сумма выше порога, — тогда внимание тратится на действительно спорные случаи.
Как технически реализуется уровень автономии?
Набором доступных инструментов, обязательными подтверждениями и лимитами — всё это код на стороне оркестратора, а не параметр модели. Модель в этой схеме только предлагает действия; что из предложенного может исполниться — решает система. Поэтому «повысить автономию» всегда означает внести изменение в код прав и лимитов, а не в промпт.
Чем автономность отличается от человека в контуре?
Автономность — шкала: какую долю действий агент выполняет сам. Человек в контуре — механизм: в каких точках и как встроены проверки. Они задаются независимо: высокоавтономный агент всё равно может держать в контуре единственный тип действий — например, платежи свыше порога.
Какая доля действий без подтверждения — нормальная цель?
Сама по себе метрика нейтральна: 95% без подтверждения у обратимых действий и 0% у платежей — одновременно нормальная конфигурация. Целевое значение задаётся отдельно по каждому типу действий из цены ошибки, а не сверху по всему агенту. Смысл метрики — в динамике: доля подтверждаемых действий должна снижаться по мере накопления статистики, а не волей решения.