01Два вопроса, которые путают
Быть названным и быть загруженным — разные вещи. Ассистент может назвать ваше приложение по тому, что усвоил при обучении, ни разу не запросив ваш сайт. Он также может загрузить ваш сайт во время ответа и всё равно не назвать вас. Замер одного ничего не говорит о другом, а большинство советов на эту тему молча их смешивают.
Первый вопрос мы уже измеряем и публикуем, включая нули. Эта страница — о втором: какие краулеры за фиксированный период действительно запрашивали страницы этого домена.
02Что пришло за 14 дней до 2026-09-21
| User agent | Оператор | Роль | Запросы |
|---|---|---|---|
| Amazonbot | Amazon | поисковый индекс | 1140 |
| ClaudeBot | Anthropic | обучение | 901 |
| Googlebot | поисковый индекс | 797 | |
| bingbot | Microsoft | поисковый индекс | 435 |
| Applebot | Apple | поисковый индекс | 121 |
| GPTBot | OpenAI | обучение | 67 |
| PerplexityBot | Perplexity | во время ответа | 10 |
| Bytespider | ByteDance | обучение | 5 |
| OAI-SearchBot | OpenAI | во время ответа | ни разу |
| ChatGPT-User | OpenAI | во время ответа | ни разу |
| Claude-User | Anthropic | во время ответа | ни разу |
| CCBot | Common Crawl | обучение | ни разу |
| meta-externalagent | Meta | обучение | ни разу |
| Google-Extended | обучение | ни разу | |
| Perplexity-User | Perplexity | во время ответа | ни разу |
| Claude-SearchBot | Anthropic | во время ответа | ни разу |
| DuckAssistBot | DuckDuckGo | во время ответа | ни разу |
| MistralAI-User | Mistral | во время ответа | ни разу |
03Агенты OpenAI, работающие во время ответа, так и не пришли. Агенты Perplexity пришли.
Операторы публикуют разных агентов для разных задач: один собирает страницы для обучения, другой загружает страницу, отвечая на живой вопрос. За этот период OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User зарегистрировали ноль запросов — в том числе оба агента OpenAI, работающие во время ответа. PerplexityBot пришёл — 10 раз.
Поэтому честная версия — не «ассистенты никогда не загружают страницы»: один из них загружает, примерно раз в день. Она уже: для этого домена за этот период ни один агент, назвавшийся агентом OpenAI, не загрузил этот сайт во время ответа. Сначала мы прочитали это как «ChatGPT не видит наших страниц». Следующий раздел объясняет, почему это прочтение было неверным.
Очевидное возражение — что мы их заблокировали. Нет: OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User каждый назван в нашем robots.txt с Allow: /, наряду с краулерами для обучения. Ноль — это их поведение, а не наша конфигурация; проверьте собственный robots-файл, прежде чем считать свой ноль находкой.
04Ноль загрузок — и ChatGPT всё равно дал на нас ссылку
21 сентября 2026 года мы спросили ChatGPT во временном чате с выключенной памятью: «free tool to check my iOS app's keyword ranking in the App Store». Он поставил нашу бесплатную проверку позиций второй из пяти и дал прямую ссылку на /tools/rank-check с добавленным utm_source=chatgpt.com. Наш собственный журнал посещений уже две недели фиксировал переходы с chatgpt.com — двое из этих посетителей затем создали аккаунт.
Значит, ноль в логе доступа и цитирование верны одновременно. Ответ был собран из поискового индекса, который у ChatGPT уже был, а не из живого запроса агента, назвавшегося агентом OpenAI. Для владельца сайта вывод практический: ноль в логе не значит, что вы невидимы для ChatGPT, а цитирование не значит, что он прочитал вашу страницу сегодня.
Какой индекс? Справочный центр OpenAI говорит, что поиск ChatGPT «иногда сотрудничает с другими поисковыми провайдерами», и отсылает к заявлению о конфиденциальности Microsoft — то есть это Bing. bingbot запросил здесь страницы 435 раз за период, все были отданы нормально, — и всё же в тот же день поиск в Bing по точному названию нашего сравнения бесплатных инструментов не вернул ничего с этого домена. Мы не можем сказать, какой индекс дал цитирование; мы можем сказать, что обход и индексация — разные шаги и что новому сайту обычно не хватает именно второго.
05Треть всего трафика краулеров идёт на текстовые двойники
Каждая страница здесь существует и как Markdown-двойник в .md.txt, наряду с llms.txt и llms-full.txt. За тот же период краулеры запросили эти двойники 788 раз из 2244 AI-запросов всего — 35% всего, что они запрашивали. На HTML-страницы с контентом пришлось 1083.
Мы построили этот слой в расчёте на то, что им будут пользоваться, не имея доказательств ни в ту, ни в другую сторону. Пользуются им активно — не больше, чем HTML, но того же порядка величины, и это при слое, публикация которого почти ничего не стоит. По этим данным он не декоративный.
06Что из этого стоит делать и чего не стоит
Стоит делать
Публикуйте чистую текстовую копию страниц, держите собственное описание фактическим и следите, чтобы страницы, описывающие ваше приложение, были теми, что найдёт краулер для обучения, — сторонние обзоры важнее собственного маркетинга. Затем измерьте снова через месяц, а не верьте изменению на слово.
Попадите в поисковые индексы, которые заимствуют ассистенты. Подтвердите сайт в Bing Webmaster Tools, а не только в Google Search Console, и отправьте sitemap в оба — обход не равен индексации, а страницу, которой нет в индексе, нельзя извлечь для ответа. Затем поищите там точные заголовки собственных страниц: это самая дешёвая проверка из возможных.
Не стоит делать
Переписывать страницы каждую неделю ради загрузки во время ответа, которой не происходит. Покупать инструмент, обещающий «оптимизацию под ChatGPT», не сказав вам, запрашивает ли движок, который он измеряет, ваш домен вообще. И считать один замер — наш или ваш — трендом.
Частые вопросы
Заходит ли ChatGPT на мой сайт, когда кто-то спрашивает о моём приложении?
Иногда, и это можно проверить, а не предполагать. OpenAI документирует разных агентов для обучения и для просмотра во время ответа; агенты времени ответа появляются в логе доступа под своим именем, когда приходят. За наш собственный измеренный период они не пришли ни разу — и ChatGPT всё равно ссылался на наши страницы, потому что его ответ опирался на уже имеющийся поисковый индекс, а не на живой визит.
Стоит ли блокировать AI-краулеры в robots.txt?
Если вы хотите, чтобы вас называли в ответах ассистентов, блокировка краулеров для обучения работает прямо против этого: именно через них ваш продукт становится тем, что знает модель. Блокировка разумна по другим причинам, но это компромисс, а не бесплатная предосторожность.
Читают ли на самом деле llms.txt и Markdown-копии страниц?
На этом домене — активно: 788 из 2244 запросов AI-краулеров за измеренный период пришлись на текстовые двойники против 1083 на HTML-страницы. Это данные одного сайта, а не правило, но стоимость их публикации близка к нулю.
Можно ли пробраться в ответы AI обманом?
С пользой — нет. Ответ ассистента строится из того, что написано о вас во многих источниках; страница, утверждающая, что вы лучшие, от этого не становится правдой. Двигает его то, что вас точно описывают — в местах, кроме вашего собственного домена, — на протяжении времени.
Проверьте на своём приложении
Вставьте ссылку на приложение и добавьте ключевые слова. Позиция, приложения выше вас и спрос измеряются каждый день.
Бесплатный план: 1 приложение, по 25 ключевых слов в 2 витринах, 30 дней истории, без карты и без срока. Pro — $20/мес.
Начать бесплатно →