Storelift

Storelift › Руководства › Читает ли ChatGPT ваш сайт, прежде чем ответить?

Измерение

Читает ли ChatGPT ваш сайт, прежде чем ответить?

«Будет ли ChatGPT рекомендовать моё приложение?» обычно обсуждают как вопрос контента. Отчасти это вопрос инфраструктуры, а инфраструктуру можно измерить по вашему собственному логу доступа. Мы сделали это для своего сайта, и результат оказался резче, чем ожидалось.

Начать бесплатно →Бесплатный план: 1 приложение, по 10 ключевых слов в 2 витринах, 14 дней истории, без карты и без срока. Pro — $29/мес.

Автор: Обновлено: Данные: 2026-09-08 – 2026-09-21 · архив · Последнее успешное измерение: 2026-09-217 мин чтения

Отслеживание ключевых слов · история позиций отслеживаемых слов

Два вопроса, которые путают

Быть названным и быть загруженным — разные вещи. Ассистент может назвать ваше приложение по тому, что усвоил при обучении, ни разу не запросив ваш сайт. Он также может загрузить ваш сайт во время ответа и всё равно не назвать вас. Замер одного ничего не говорит о другом, а большинство советов на эту тему молча их смешивают.

Первый вопрос мы уже измеряем и публикуем, включая нули. Эта страница — о втором: какие краулеры за фиксированный период действительно запрашивали страницы этого домена.

Что пришло за 14 дней до 2026-09-21

User agentОператорРольЗапросы
AmazonbotAmazonпоисковый индекс1140
ClaudeBotAnthropicобучение901
GooglebotGoogleпоисковый индекс797
bingbotMicrosoftпоисковый индекс435
ApplebotAppleпоисковый индекс121
GPTBotOpenAIобучение67
PerplexityBotPerplexityво время ответа10
BytespiderByteDanceобучение5
OAI-SearchBotOpenAIво время ответани разу
ChatGPT-UserOpenAIво время ответани разу
Claude-UserAnthropicво время ответани разу
CCBotCommon Crawlобучениени разу
meta-externalagentMetaобучениени разу
Google-ExtendedGoogleобучениени разу
Perplexity-UserPerplexityво время ответани разу
Claude-SearchBotAnthropicво время ответани разу
DuckAssistBotDuckDuckGoво время ответани разу
MistralAI-UserMistralво время ответани разу
Строку user agent можно подделать, и мы не сверяли IP запросов с опубликованными диапазонами. Читайте каждую строку как «клиент, который назвался так», а не как подтверждённый визит этой компании.

Исправление от 11 октября 2026 г.: как читать роли в этой таблице

Таблица и текст на этой странице оставлены в том виде, в каком были опубликованы 21 сентября 2026 г. Повторных замеров не было; эта заметка исправляет прочтение трёх пунктов.

Google-Extended — не краулер. В документации Google о краулерах (страница обновлена 14 июля 2026 г., прочитана 11 октября 2026 г.) сказано: «Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.» То есть Google-Extended не отправляет запросы с собственным user agent; обход выполняют существующие краулеры Google. Это управляющий токен для robots.txt: он определяет, можно ли использовать страницы, которые Google уже обходит, для обучения моделей Gemini и для подкрепления их ответов, и не влияет на Google Поиск. В журнале доступа он появиться не может. Поэтому его строка выше — не наблюдение, и её не следует считать среди агентов, которые не пришли. Запросы Google за этот период — в строке Googlebot: 797.

Метка «во время ответа» объединяла две разные задачи. По документации самих операторов (OpenAI, Perplexity, Anthropic, DuckDuckGo и Mistral, прочитана 11 октября 2026 г.) OAI-SearchBot, PerplexityBot и Claude-SearchBot — поисковые краулеры: они строят индекс, по которому ассистент ищет позже, и работают по своему расписанию. ChatGPT-User, Claude-User, Perplexity-User и MistralAI-User загружают страницу потому, что человек только что задал вопрос; DuckAssistBot обходит страницы в реальном времени для ответов DuckDuckGo с участием AI.

User agentМетка в таблице вышеРоль по документации оператораЗапросы (без изменений)
PerplexityBotво время ответапоисковый краулер10
OAI-SearchBotво время ответапоисковый краулерни разу
ChatGPT-Userво время ответазагрузка по вопросу пользователяни разу
Claude-Userво время ответазагрузка по вопросу пользователяни разу
Google-Extendedобучениеуправляющий токен robots.txt, запросов не отправляетни разу
Perplexity-Userво время ответазагрузка по вопросу пользователяни разу
Claude-SearchBotво время ответапоисковый краулерни разу
DuckAssistBotво время ответаобход в реальном времени для AI-ответовни разу
MistralAI-Userво время ответазагрузка по вопросу пользователяни разу

При таком прочтении заголовок следующего раздела говорит больше, чем показывает журнал. Ни один из 5 агентов, загружающих страницу в момент вопроса, не пришёл; все они на нуле. От Perplexity пришёл поисковый краулер, 10 раз. Поисковые краулеры OpenAI и Anthropic не пришли. Агенты «во время ответа» на нуле (7) — это те же 5 и ещё поисковые краулеры (2).

Что складывается в «AI-запросы». AI-запросы (2244), от которых ниже считается доля Markdown-двойников, — это сумма пришедших агентов (6): Amazonbot 1140, ClaudeBot 901, Applebot 121, GPTBot 67, PerplexityBot 10, Bytespider 5. Googlebot и bingbot в неё не входят. Amazonbot и Applebot, которые в этой таблице отнесены к поисковому индексу, входят и дают 1261 из 2244. Файл данных не фиксирует, какой агент запрашивал двойники, поэтому 35% нельзя разложить по агентам.

Остальные метки в таблице (обучение, поисковый индекс) для этой заметки заново не проверялись, а user agent по-прежнему не сверены с опубликованными диапазонами IP.

Агенты OpenAI, работающие во время ответа, так и не пришли. Агенты Perplexity пришли.

Операторы публикуют разных агентов для разных задач: один собирает страницы для обучения, другой загружает страницу, отвечая на живой вопрос. За этот период OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User зарегистрировали ноль запросов — в том числе оба агента OpenAI, работающие во время ответа. PerplexityBot пришёл — 10 раз.

Поэтому честная версия — не «ассистенты никогда не загружают страницы»: один из них загружает, примерно раз в день. Она уже: для этого домена за этот период ни один агент, назвавшийся агентом OpenAI, не загрузил этот сайт во время ответа. Сначала мы прочитали это как «ChatGPT не видит наших страниц». Следующий раздел объясняет, почему это прочтение было неверным.

Очевидное возражение — что мы их заблокировали. Нет: OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User каждый назван в нашем robots.txt с Allow: /, наряду с краулерами для обучения. Ноль — это их поведение, а не наша конфигурация; проверьте собственный robots-файл, прежде чем считать свой ноль находкой.

Один сайт, один период. Это не утверждение о том, как ассистенты ведут себя в целом, и другой сайт — который часто цитируют или который ранжируется в поисковом индексе, на который опираются эти агенты, — вполне может увидеть обратное. Смысл в том, что свой можно проверить, а не гадать.

Ноль загрузок — и ChatGPT всё равно дал на нас ссылку

21 сентября 2026 года мы спросили ChatGPT во временном чате с выключенной памятью: «free tool to check my iOS app's keyword ranking in the App Store». Он поставил нашу бесплатную проверку позиций второй из пяти и дал прямую ссылку на /tools/rank-check с добавленным utm_source=chatgpt.com. Наш собственный журнал посещений уже две недели фиксировал переходы с chatgpt.com — двое из этих посетителей затем создали аккаунт.

Значит, ноль в логе доступа и цитирование верны одновременно. Ответ был собран из поискового индекса, который у ChatGPT уже был, а не из живого запроса агента, назвавшегося агентом OpenAI. Для владельца сайта вывод практический: ноль в логе не значит, что вы невидимы для ChatGPT, а цитирование не значит, что он прочитал вашу страницу сегодня.

Какой индекс? Справочный центр OpenAI говорит, что поиск ChatGPT «иногда сотрудничает с другими поисковыми провайдерами», и отсылает к заявлению о конфиденциальности Microsoft — то есть это Bing. bingbot запросил здесь страницы 435 раз за период, все были отданы нормально, — и всё же в тот же день поиск в Bing по точному названию нашего сравнения бесплатных инструментов не вернул ничего с этого домена. Мы не можем сказать, какой индекс дал цитирование; мы можем сказать, что обход и индексация — разные шаги и что новому сайту обычно не хватает именно второго.

Один запрос, один день. Ответы различаются между сессиями: похожий вопрос 13 сентября («free ASO keyword rank tracker») нас не назвал, и широкие вопросы вроде «лучший ASO-инструмент» по-прежнему не называют. Считайте это доказательством того, что путь существует, а не рейтингом.

Треть всего трафика краулеров идёт на текстовые двойники

Каждая страница здесь существует и как Markdown-двойник в .md.txt, наряду с llms.txt и llms-full.txt. За тот же период краулеры запросили эти двойники 788 раз из 2244 AI-запросов всего — 35% всего, что они запрашивали. На HTML-страницы с контентом пришлось 1083.

Мы построили этот слой в расчёте на то, что им будут пользоваться, не имея доказательств ни в ту, ни в другую сторону. Пользуются им активно — не больше, чем HTML, но того же порядка величины, и это при слое, публикация которого почти ничего не стоит. По этим данным он не декоративный.

Что из этого стоит делать и чего не стоит

Стоит делать

Публикуйте чистую текстовую копию страниц, держите собственное описание фактическим и следите, чтобы страницы, описывающие ваше приложение, были теми, что найдёт краулер для обучения, — сторонние обзоры важнее собственного маркетинга. Затем измерьте снова через месяц, а не верьте изменению на слово.

Попадите в поисковые индексы, которые заимствуют ассистенты. Подтвердите сайт в Bing Webmaster Tools, а не только в Google Search Console, и отправьте sitemap в оба — обход не равен индексации, а страницу, которой нет в индексе, нельзя извлечь для ответа. Затем поищите там точные заголовки собственных страниц: это самая дешёвая проверка из возможных.

Не стоит делать

Переписывать страницы каждую неделю ради загрузки во время ответа, которой не происходит. Покупать инструмент, обещающий «оптимизацию под ChatGPT», не сказав вам, запрашивает ли движок, который он измеряет, ваш домен вообще. И считать один замер — наш или ваш — трендом.

Частые вопросы

Заходит ли ChatGPT на мой сайт, когда кто-то спрашивает о моём приложении?

Иногда, и это можно проверить, а не предполагать. OpenAI документирует разных агентов для обучения и для просмотра во время ответа; агенты времени ответа появляются в логе доступа под своим именем, когда приходят. За наш собственный измеренный период они не пришли ни разу — и ChatGPT всё равно ссылался на наши страницы, потому что его ответ опирался на уже имеющийся поисковый индекс, а не на живой визит.

Стоит ли блокировать AI-краулеры в robots.txt?

Если вы хотите, чтобы вас называли в ответах ассистентов, блокировка краулеров для обучения работает прямо против этого: именно через них ваш продукт становится тем, что знает модель. Блокировка разумна по другим причинам, но это компромисс, а не бесплатная предосторожность.

Читают ли на самом деле llms.txt и Markdown-копии страниц?

На этом домене — активно: 788 из 2244 запросов AI-краулеров за измеренный период пришлись на текстовые двойники против 1083 на HTML-страницы. Это данные одного сайта, а не правило, но стоимость их публикации близка к нулю.

Можно ли пробраться в ответы AI обманом?

С пользой — нет. Ответ ассистента строится из того, что написано о вас во многих источниках; страница, утверждающая, что вы лучшие, от этого не становится правдой. Двигает его то, что вас точно описывают — в местах, кроме вашего собственного домена, — на протяжении времени.

Проверьте на своём приложении

Вставьте ссылку на приложение и добавьте ключевые слова. Позиция, приложения выше вас и спрос измеряются каждый день.

Бесплатный план: 1 приложение, по 10 ключевых слов в 2 витринах, 14 дней истории, без карты и без срока. Pro — $29/мес.

Начать бесплатно →
Наборы конкурентов · слова, общие с конкурентом, и те, что есть только у него

Читайте также

Источники (2)