Обсудить проект

GEO для сайта, часть 1: техническая сторона

Это первая из трёх статей о том, что нужно учесть на сайте, чтобы его цитировали нейросети. Общую картину мы разобрали в статье «Как попасть в рекомендации нейросетей». Здесь разберём технику: что должно работать, чтобы ИИ-ассистент вообще смог открыть страницу и прочитать её. Во второй части поговорим о структуре сайта, в третьей о контенте.

Начинать с техники имеет смысл по простой причине: если бот не может прочитать страницу, остальная работа пропадает. Лучший текст в мире не будет процитирован, когда робот получил ошибку или пустой каркас.

Какие роботы приходят на сайт

За словом «нейросеть» стоят разные боты с разными задачами. Если смешивать их в одну кучу, легко случайно закрыть не то.

Обучающие роботы собирают тексты для обучения моделей. Примеры: GPTBot у OpenAI, ClaudeBot у Anthropic. Закрыв их, вы не уйдёте из ответов, которые ассистент строит по живому поиску, но повлияете на то, попадёт ли ваш текст в обучающие данные будущих версий.

Поисковые роботы индексируют страницы для поиска внутри ассистента. Например, OAI-SearchBot (поиск в ChatGPT), Claude-SearchBot, PerplexityBot. Если закрыть их, вы исчезнете из ответов именно этого сервиса.

Роботы по запросу пользователя открывают конкретную страницу в тот момент, когда человек просит ассистента её прочитать: ChatGPT-User, Claude-User. Они работают по команде человека, а не по расписанию.

Отдельно стоит Google-Extended. Это не робот, а токен в robots.txt, который управляет тем, используются ли ваши материалы для Gemini. На обычное ранжирование в Google он не влияет.

Для российских сервисов картина менее прозрачна: Яндекс не раскрывает всех деталей, а практики сходятся в одном. Чтобы попасть в ответ нейропоиска Яндекса, страница должна быть в индексе Яндекса и вообще нормально ранжироваться. Поэтому базовая индексация в Вебмастере здесь остаётся входным билетом.

robots.txt: открыть, а не просто «не закрывать»

Первая проверка простая: откройте ваш-сайт/robots.txt и посмотрите, нет ли там общего запрета (Disallow: /) для ботов, которых вы хотите видеть. Нередко после разработки на тестовом домене в файле остаётся закрывающее правило.

Вторая проверка тоньше и о ней мало пишут. Робот читает не весь файл, а только ту группу правил, которая точнее всего подходит его названию. Если вы выделили для бота отдельную группу, правила из блока User-agent: * на него уже не действуют. Поэтому служебные запреты приходится повторять в каждой группе:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /spasibo/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /spasibo/

Если не повторить Disallow во второй группе, бот получит доступ и к служебным страницам. Для нас это не трагедия, но вы можете получить в ответах ассистента страницу «Спасибо» или кабинет.

Решение о том, пускать ли обучающих ботов, принимайте осознанно. Для сайта услуг, которому нужны клиенты, обычно разумно пускать поисковых ботов и ботов по запросу. Обучающих можно открыть или закрыть по своему усмотрению: прямой пользы в заявках от них нет, вреда тоже немного.

Защита от ботов часто ломает всё молча

Это самая коварная проблема. Файл robots.txt открыт, всё выглядит правильно, а ботов всё равно нет. Причина в защите на стороне хостинга, CDN или сервиса безопасности: она принимает ИИ-ботов за нагрузку и отдаёт им ошибку 403 или капчу. Бот уходит и больше не возвращается, а вы ничего не замечаете, потому что обычные посетители страницу видят нормально.

Как проверить:

Если логов нет или вы не знаете, где их смотреть, это вопрос к поддержке хостинга. Попросите прислать последние обращения этих ботов и коды ответов.

Контент должен быть в HTML, а не собираться скриптами

Многие ИИ-боты, в отличие от Googlebot, не выполняют JavaScript. Исследования трафика ботов показывали это для поисковых и обучающих роботов OpenAI, Anthropic и Perplexity: они скачивают скрипты, но не запускают их. Gemini здесь исключение, потому что использует инфраструктуру Google, которая рендерит страницы.

Что это значит на практике. Если сайт собран так, что текст появляется только после выполнения скриптов (типичный случай для сайтов на React или Vue без серверного рендеринга), бот получает пустой каркас и цитировать ему нечего.

Проверка занимает минуту: откройте страницу, нажмите «Просмотр кода страницы» (Ctrl+U) и поищите в коде фразу из основного текста. Нашли, значит, бот её тоже видит. Не нашли, значит, текст подставляется скриптами, и это надо чинить.

Важные тексты, заголовки, цены и контакты должны лежать в исходном HTML. Скриптам можно оставить второстепенное: счётчики, чаты, анимации. Статический сайт или сайт на WordPress с обычным серверным рендерингом этой проблемы не имеет, поэтому мы и собираем многостраничные сайты на WordPress.

Отдельно про скрытый контент. Вкладки и раскрывающиеся списки (аккордеоны) безопасны, если их содержимое есть в HTML и только скрыто стилями. Опасны блоки, которые подгружаются запросом после клика: бот ничего не кликает.

Важное не должно быть картинкой или PDF

Нейросеть читает текст. Цена на картинке, схема работы в виде скриншота, реквизиты в приложенном PDF для неё почти не существуют. Дублируйте важное словами на странице: цены, условия, этапы, состав услуги, сведения о компании. Картинке при этом полезно задать осмысленный alt, но он не заменяет основной текст.

Стабильность и скорость

Робот, как и человек, не любит ошибки. Страницы, которые периодически отдают 500, долгие цепочки редиректов, дубли одной страницы по разным адресам, всё это снижает вероятность, что материал дойдёт до ответа. Проверьте базовое:

Карта сайта (sitemap.xml) помогает роботам находить страницы, особенно новые. Полезно, если в ней стоят реальные даты изменения страниц: так бот понимает, что материал свежий. Только даты должны быть настоящими, а не «сегодня» у всех страниц сразу.

Разметка Schema.org

Структурированные данные в формате JSON-LD сообщают машине о сайте то, что человек видит глазами: кто компания, какие у неё услуги, где контакты, какие вопросы разобраны на странице. Минимальный набор для сайта услуг:

Данные в разметке должны быть правдой и совпадать с тем, что на странице. Разметка, которая противоречит тексту, скорее навредит. Точных данных о том, насколько она увеличивает цитирование, нет, и обещаниям «разметка даёт х2» верить не стоит. Но она снимает неоднозначность: машине проще понять, что перед ней услуга, а что отзыв.

llms.txt: пригодится, но не чудо

Файл llms.txt в корне сайта описывает главные страницы для ИИ-ботов. Мы его ставим на все новые сайты, потому что это дёшево. При этом у нас нет доказательств, что конкретный ассистент использует его для выбора источников, и официально большинство сервисов это не подтверждает. Относитесь к файлу как к бесплатной подстраховке, а не как к главному инструменту. Пример файла мы показывали в статье про рекомендации нейросетей.

Чек-лист на полчаса

  1. Открыт ли robots.txt для поисковых ботов и ботов по запросу? Повторены ли служебные запреты в каждой группе?
  2. Нет ли в логах ответов 403 для ИИ-ботов? Не стоит ли капча на читаемых страницах?
  3. Видна ли в исходном коде страницы фраза из основного текста?
  4. Лежат ли цены, условия и контакты текстом, а не картинкой или PDF?
  5. Отдают ли нужные страницы 200, а несуществующие 404?
  6. Есть ли разметка Organization, Service, FAQPage, Article и совпадает ли она с видимым текстом?
  7. Стоит ли в sitemap.xml реальные даты изменения?

Если на каком-то пункте споткнулись, начните с него. Техническая часть делается один раз, а потом работает на все остальные усилия.

Частые вопросы

Нужно ли открывать сайт для GPTBot и ClaudeBot? Это зависит от вашей позиции по обучению моделей на ваших текстах. Для ответов, в которых ассистент ищет информацию в реальном времени, важны поисковые боты и боты по запросу, а не обучающие.

Достаточно ли сделать техническую часть, чтобы сайт начали цитировать? Нет. Техника отвечает только на вопрос «может ли бот прочитать». Будет ли прочитанное процитировано, зависит от структуры сайта и контента.

Как проверить, что ИИ-боты заходят на сайт? По логам сервера: ищите названия ботов в поле User-Agent и смотрите коды ответов. Если доступа к логам нет, запросите их у хостинга.

Сайт на конструкторе подойдёт? Зависит от конструктора. Проверьте три вещи: виден ли текст в исходном коде, можно ли редактировать robots.txt и добавить разметку, нет ли агрессивной защиты от ботов. О плюсах и пределах конструкторов мы писали в статье «Тильда или WordPress».


Хотите проверить, как ваш сайт видят роботы? Приходите на бесплатную онлайн-встречу: пройдёмся по чек-листу и покажем, что нужно исправить в первую очередь.

По теме

Следующий шаг

Давайте запланируем онлайн-встречу

За 40 минут покажу 3 точки роста вашего бизнеса: как увеличить текущую выручку из интернета, как увеличить поток заявок, как снизить стоимость клиента и докрутить конверсии сайтов. По итогам встречи вы получите финмодель роста вашего бизнеса и понятный план действий.

Telegram-канал

Пока вы не ушли: то, чего нет на сайте

В Telegram я разбираю, почему сайты не приносят заявок, и показываю цифры живых проектов. Без воды, раз в неделю.

Читать канал
Следующий шаг

Давайте обсудим ваш проект

Я задам несколько вопросов, а потом сориентирую по срокам и стоимости и покажу примеры работ из вашей ниши.