Замер присутствия в ИИ-ответах — регулярный прогон фиксированного набора промптов через генеративные системы с фиксацией упоминаний бренда, позиции, ссылки и тона ответа. Практическая роль: это метрика доли голоса (share of voice) в новом канале — без неё работа над видимостью в ответах не отличается от работы вслепую.
Что мерить
Пять полей на каждый ответ. Упомянут ли бренд; позиция первого упоминания; есть ли прямая ссылка на сайт; тон упоминания — позитивный, нейтральный, негативный; корректность — правильно ли поняты продукт, цены, условия. Пять полей заполняются на каждый промпт каждой системы.
Две производные метрики. Доля промптов с упоминанием — базовый показатель присутствия; доля голоса — ваши упоминания относительно всех упомянутых брендов, устойчивее к общим колебаниям ответов и пригодна для сравнения с конкурентами.
Не путать с трафиком. Присутствие — опережающая метрика: упоминания сегодня конвертируются в брендовый поиск и переходы позже; referral-трафик меряет уже случившееся, и только его часть.
Позиция упоминания — вторичная метрика. Считайте порядковый номер первого упоминания среди всех брендов ответа, но не переоценивайте: порядок в генеративном тексте нелинеен, важность определяется ролью в ответе, а не номером абзаца. Решающее слово за долей голоса и ссылочностью.
Набор промптов: как строить
30–100 фиксированных формулировок. Меньше 30 — шум от нестабильности ответов; больше 100 — стоимость без новых решений на типовых темах. Промпты фиксируются дословно и не меняются между прогонами: тренд имеет смысл только на постоянном наборе — методически это тот же проверочный набор, что и в машинном обучении (подробнее: проверочный набор и бенчмарк).
Четыре типа формулировок. Информационные («что такое X»), сравнительные («X или Y для задачи Z»), проблемные («как решить W»), покупательные («сколько стоит X», «лучший X для Y»). Язык — как у клиентов: копируйте формулировки из поисковых запросов и вопросов в поддержке, а не из своих материалов.
Брендовых запросов — минимум. «Отзывы о бренде» меряют тон, а не видимость: бренд там упомянут по построению. Трёх-пяти таких промптов для контроля тона достаточно.
Ротация — не более пятой части. Восемьдесят процентов ядра стабильно, до двадцати обновляется раз в квартал, чтобы ловить новые формулировки спроса; изменённые промпты считаются новым рядом динамики.
Ловушки измерения
Нестабильность ответов. Один и тот же промпт даёт разные ответы — из-за вероятностной генерации и вариативности отбора источников. Лечится серией: 3–5 прогонов на промпт, выводы по усреднению за окно 2–4 недели, а не по одному дню.
Персонализация и контекст. История чата и аккаунта меняет ответ; каждый прогон — новый диалог, чистая сессия, где возможно — без входа. Смешение режимов «с историей» и «с чистого листа» делает ряд несопоставимым.
Гео и язык. Ответы различаются по стране и языку запроса; зафиксируйте один регион и язык и не смешивайте. Отдельный локальный рынок — отдельный ряд с собственной базовой линией.
Смена моделей и интерфейсов. Обновление модели или поискового режима разрывает ряд; фиксируйте версию и дату, отмечайте разрывы в динамике. Оценку тона и корректности на объёме вручную не сделать — передайте разметку модели-судье по формальным критериям и сверяйте выборку руками (подробнее: оценка моделью-судьёй).
Где уместно: инструменты против ручного прогона
Ручной прогон. Прозрачен и дёшев на 30–100 промптах раз в месяц; минусы — часы работы, риск оценок «на глаз» и невозможность масштабировать серию прогонов.
Платформы мониторинга. Дают регулярность и охват, но методология закрыта: свой набор промптов, свои правила градации, несравнимость с чужими отчётами и с вашим ручным рядом. Подходят для наблюдения, а не для атрибуции эффекта.
Свой скрипт через API. Фиксированные параметры генерации, автоградация моделью-судьёй, результаты в таблицу; на сотне промптов стоимость близка к нулю, контроль полный. Это средний путь, который стоит выбрать при регулярном прогоне.
Динамика и связь с работой
Базовая линия до изменений. 2–4 недели стабильных прогонов до контентных правок — точка отсчёта; после неё считается относительный рост. Абсолютных норм не существует: отрасли и системы слишком разные.
Связь изменений с эффектом. Меняйте страницы по конкретным темам и наблюдайте связанные с ними промпты, а не весь набор сразу; лаг переобхода и обновления ответов — недели. Без журнала «что и когда поменяли» динамика необъяснима.
Регулярность. Прогон раз в 2–4 недели достаточен; чаще — реагирование на шум генерации, а не на работу. Ряды динамики по темам — тот же мониторинг дрейфа, что и в производственных ИИ-системах: важен тренд, а не выброс.
Отчёт — четыре числа и один список. Доля упоминаний, доля ответов со ссылкой, доля голоса, доля корректных описаний — по системам и в целом, плюс список тем, где вас нет вообще: он и есть план работ на следующий цикл, потому что отсутствие дешевле устранять точечно.
Типичные ошибки
- Смешивать условия в один ряд. Гео, язык, модель и режим поиска фиксируются; каждая смена — новый ряд с собственной базовой линией.
- Менять набор промптов. Тренд через разрыв набора не считается; обновления — через ротацию меньшинства и пометку в журнале.
- Реагировать на одиночные колебания. Ответ нестабилен по построению; решение принимается по окну в недели.
- Мерить только факт упоминания. Негативное или ошибочное упоминание — не победа; тон и корректность обязательны.
- Доверять автоградации без сверки. Модель-судья ошибается; точность разметки проверяется ручной выборкой раз в несколько прогонов.
Частые вопросы
Сколько систем проверять?
Две-четыре основные для вашего рынка; для русскоязычного спроса обычно ChatGPT, Perplexity, Gemini и «Нейро» в Яндексе. Больше — стоимость без решений: системы пересекаются по источникам.
Как часто прогонять?
Раз в 2–4 недели; в период активных правок — по верхней границе, в спокойные периоды достаточно месячного ритма.
Что считать нормальным результатом?
Абсолютной нормы нет: точка отсчёта — ваша базовая линия до работ. Здоровая динамика — устойчивый относительный рост упоминаний и ссылок при стабильном или улучшающемся тоне.
Можно ли автоматизировать бесплатно?
Скрипт через API с моделью-судьёй на сотне промптов почти бесплатен по токенам; реальная цена — дисциплина ведения набора и журнала. Платформы покупают регулярность, а не точность.
Чем это отличается от отслеживания позиций в SEO?
Позиция выдачи относительно стабильна и воспроизводима; генеративный ответ вероятностен по построению — отсюда серии прогонов, усреднение и окна вместо одного снимка.
Как связать с бизнес-метриками?
Смотрите рядом: доля упоминаний, referral-трафик ИИ-сервисов, брендовый поиск, лиды с этих источников. Присутствие — промежуточная метрика, ценная как индикатор работы канала до того, как она дойдёт до выручки.