Google научился выполнять JavaScript и видеть содержимое, которое подгружается скриптами. На этом основано спокойствие многих владельцев сайтов на современных фреймворках.
Проблема в том, что краулеры ИИ-компаний в большинстве своём этого не делают.
Они забирают исходный HTML, который отдал сервер, и работают с ним. Всё, что появляется после исполнения скриптов, для них не существует. Страница выглядит пустой или содержащей только оболочку.
Это один из самых недооценённых барьеров для попадания в генеративные ответы — и одновременно один из самых легко проверяемых.
Как проверить за минуту
Три способа, от самого быстрого.
Отключить JavaScript в браузере
В настройках браузера или через режим разработчика. Перезагрузите страницу.
Что видите — примерно то же, что видит ИИ-краулер. Если осталась пустая страница, шапка без содержимого или сообщение «включите JavaScript» — контент невидим.
Посмотреть исходный код
Не режим разработчика с готовым деревом, а именно исходный код страницы — то, что отдал сервер.
Найдите в нём кусок вашего основного текста. Есть — хорошо. Нет — контент подгружается скриптами.
Различие принципиально: инструменты разработчика показывают итоговое состояние после выполнения скриптов, и по ним проблему не увидеть.
Запросить страницу без браузера
Любым инструментом, который забирает HTML без исполнения скриптов. Результат — ровно то, что получает краулер.
Что чаще всего оказывается невидимым
Даже на сайтах, которые в целом отдают контент нормально.
Содержимое вкладок. Описание, характеристики, отзывы разложены по вкладкам и подгружаются при клике. В исходном коде — только первая.
Раскрывающиеся блоки. Ответы на вопросы, спрятанные в аккордеон. Особенно обидно: это ровно тот контент, который нужен для генеративных ответов.
Подгрузка при прокрутке. Списки, отзывы, комментарии.
Отзывы и рейтинги из сторонних виджетов.
Цены и наличие, подгружаемые отдельным запросом.
Содержимое, требующее действия — нажать «показать полностью».
Что объединяет этот список: во всех случаях сайт работает для человека и выглядит нормально. Проблема невидима, пока её не искать.
Отдельно про раскрывающиеся блоки
Стоит выделить, потому что случай самый частый и самый обидный.
Блок вопросов и ответов в аккордеоне — типовое решение: страница компактная, пользователь раскрывает нужное.
Два разных сценария:
Содержимое есть в HTML и скрыто стилями. Краулер видит текст. Всё в порядке — так и надо делать.
Содержимое подгружается при раскрытии. Краулер видит только заголовки вопросов. Ответов для него нет.
Второй вариант убивает ровно тот контент, который лучше всего подходит для попадания в генеративные ответы — «FAQPage и разметка».
Проверяется просто: отключите скрипты и посмотрите, есть ли текст ответов в исходном коде.
Что делать, если сайт на JavaScript
Варианты по убыванию надёжности.
Отдавать готовый HTML с сервера
Серверный рендеринг или генерация статики. Сервер отдаёт полноценную страницу, скрипты добавляют интерактивность поверх.
Самый надёжный вариант. Современные фреймворки это поддерживают, но требует работы, если сайт изначально сделан иначе.
Отдавать готовый HTML краулерам
Промежуточный слой, который определяет робота и отдаёт ему обработанную версию.
Работает, но требует, чтобы содержимое совпадало с тем, что видит человек: расхождение — нарушение правил поисковых систем.
Держать критичное в исходном HTML
Компромисс без переделки: основной текст, заголовки, вопросы и ответы отдаются сразу, скриптами подгружается второстепенное — рекомендации, комментарии, дополнительные блоки.
Часто достаточно. Не весь сайт должен быть виден, а то, ради чего его цитируют.
Отказаться от подгрузки в конкретных местах
Иногда достаточно перестать подгружать содержимое вкладок и раскрывающихся блоков, оставив его в HTML скрытым стилями. Точечная правка, закрывающая большую часть проблемы.
Проверка после изменений
Отключить скрипты и прочитать страницу. Есть ли всё, что должно быть.
Сравнить объём текста в исходном коде и в готовой странице. Большая разница — сигнал.
Проверить инструментами поисковых систем — они показывают, как видят страницу.
Проверить несколько типов страниц: главная, статья, страница услуги, карточка товара. Устроены они обычно по-разному.
Проверять после обновлений сайта. Изменение шаблона может незаметно перевести блок на подгрузку.
Побочный эффект
Работа над этим улучшает не только видимость для ИИ.
Скорость. Страница, отдающая готовый HTML, показывается быстрее — контент появляется до загрузки скриптов.
Устойчивость. Если скрипт не загрузился, страница остаётся читаемой.
Доступность. Программы чтения с экрана работают лучше с содержимым, присутствующим в разметке.
Обычный поиск. Google выполняет скрипты, но с задержкой и не всегда полностью. Готовый HTML индексируется надёжнее.
То есть это редкий случай, когда работа под генеративные системы оправдана и без них.
Частые вопросы
Почему ИИ-краулеры не видят мой сайт?
Скорее всего, содержимое подгружается скриптами. В отличие от Google, краулеры ИИ-компаний в большинстве своём JavaScript не выполняют: они забирают исходный HTML, который отдал сервер, и всё, что появляется после исполнения скриптов, для них не существует.
Как проверить, виден ли мой контент?
Отключить JavaScript в браузере и перезагрузить страницу — увидите примерно то, что видит краулер. Либо открыть исходный код страницы и поискать в нём кусок основного текста. Инструменты разработчика для этого не годятся: они показывают состояние уже после выполнения скриптов.
Что чаще всего оказывается невидимым?
Содержимое вкладок, раскрывающихся блоков и аккордеонов, подгрузка при прокрутке, отзывы из сторонних виджетов, цены и наличие. Особенно обидны раскрывающиеся блоки с вопросами и ответами — это как раз тот контент, который лучше всего подходит для генеративных ответов.
Можно ли использовать аккордеоны для FAQ?
Можно, если содержимое присутствует в HTML и просто скрыто стилями — краулер его увидит. Нельзя, если ответы подгружаются в момент раскрытия: тогда в исходном коде остаются только заголовки вопросов.
Обязательно ли переделывать сайт?
Не обязательно. Часто достаточно вынести в исходный HTML критичное — основной текст, заголовки, вопросы и ответы, — оставив скриптам второстепенное. Видимым должно быть то, ради чего вас цитируют, а не весь сайт целиком.
Влияет ли это на обычный поиск?
Влияет положительно. Google выполняет скрипты, но с задержкой и не всегда полностью, поэтому готовый HTML индексируется надёжнее. Плюс страница показывается быстрее и остаётся читаемой, если скрипт не загрузился.
Что дальше
Кто именно ходит по вашему сайту — «Краулеры AI-систем». Что делать с контентом, когда он стал видим, — «Извлекаемость контента для ИИ» и «FAQPage и разметка». Как измерить результат — «Как измерить присутствие в ИИ-ответах».
Техническая проверка видимости сайта — часть аудита и работы по SEO и GEO продвижению.