Два вопроса, которые путают
Быть названным и быть загруженным — разные вещи. Ассистент может назвать ваше приложение по тому, что усвоил при обучении, ни разу не запросив ваш сайт. Он также может загрузить ваш сайт во время ответа и всё равно не назвать вас. Замер одного ничего не говорит о другом, а большинство советов на эту тему молча их смешивают.
Первый вопрос мы уже измеряем и публикуем, включая нули. Эта страница — о втором: какие краулеры за фиксированный период действительно запрашивали страницы этого домена.
Что пришло за 14 дней до 2026-09-21
| User agent | Оператор | Роль | Запросы |
|---|---|---|---|
| Amazonbot | Amazon | поисковый индекс | 1140 |
| ClaudeBot | Anthropic | обучение | 901 |
| Googlebot | поисковый индекс | 797 | |
| bingbot | Microsoft | поисковый индекс | 435 |
| Applebot | Apple | поисковый индекс | 121 |
| GPTBot | OpenAI | обучение | 67 |
| PerplexityBot | Perplexity | во время ответа | 10 |
| Bytespider | ByteDance | обучение | 5 |
| OAI-SearchBot | OpenAI | во время ответа | ни разу |
| ChatGPT-User | OpenAI | во время ответа | ни разу |
| Claude-User | Anthropic | во время ответа | ни разу |
| CCBot | Common Crawl | обучение | ни разу |
| meta-externalagent | Meta | обучение | ни разу |
| Google-Extended | обучение | ни разу | |
| Perplexity-User | Perplexity | во время ответа | ни разу |
| Claude-SearchBot | Anthropic | во время ответа | ни разу |
| DuckAssistBot | DuckDuckGo | во время ответа | ни разу |
| MistralAI-User | Mistral | во время ответа | ни разу |
Исправление от 11 октября 2026 г.: как читать роли в этой таблице
Таблица и текст на этой странице оставлены в том виде, в каком были опубликованы 21 сентября 2026 г. Повторных замеров не было; эта заметка исправляет прочтение трёх пунктов.
Google-Extended — не краулер. В документации Google о краулерах (страница обновлена 14 июля 2026 г., прочитана 11 октября 2026 г.) сказано: «Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity.» То есть Google-Extended не отправляет запросы с собственным user agent; обход выполняют существующие краулеры Google. Это управляющий токен для robots.txt: он определяет, можно ли использовать страницы, которые Google уже обходит, для обучения моделей Gemini и для подкрепления их ответов, и не влияет на Google Поиск. В журнале доступа он появиться не может. Поэтому его строка выше — не наблюдение, и её не следует считать среди агентов, которые не пришли. Запросы Google за этот период — в строке Googlebot: 797.
Метка «во время ответа» объединяла две разные задачи. По документации самих операторов (OpenAI, Perplexity, Anthropic, DuckDuckGo и Mistral, прочитана 11 октября 2026 г.) OAI-SearchBot, PerplexityBot и Claude-SearchBot — поисковые краулеры: они строят индекс, по которому ассистент ищет позже, и работают по своему расписанию. ChatGPT-User, Claude-User, Perplexity-User и MistralAI-User загружают страницу потому, что человек только что задал вопрос; DuckAssistBot обходит страницы в реальном времени для ответов DuckDuckGo с участием AI.
| User agent | Метка в таблице выше | Роль по документации оператора | Запросы (без изменений) |
|---|---|---|---|
| PerplexityBot | во время ответа | поисковый краулер | 10 |
| OAI-SearchBot | во время ответа | поисковый краулер | ни разу |
| ChatGPT-User | во время ответа | загрузка по вопросу пользователя | ни разу |
| Claude-User | во время ответа | загрузка по вопросу пользователя | ни разу |
| Google-Extended | обучение | управляющий токен robots.txt, запросов не отправляет | ни разу |
| Perplexity-User | во время ответа | загрузка по вопросу пользователя | ни разу |
| Claude-SearchBot | во время ответа | поисковый краулер | ни разу |
| DuckAssistBot | во время ответа | обход в реальном времени для AI-ответов | ни разу |
| MistralAI-User | во время ответа | загрузка по вопросу пользователя | ни разу |
При таком прочтении заголовок следующего раздела говорит больше, чем показывает журнал. Ни один из 5 агентов, загружающих страницу в момент вопроса, не пришёл; все они на нуле. От Perplexity пришёл поисковый краулер, 10 раз. Поисковые краулеры OpenAI и Anthropic не пришли. Агенты «во время ответа» на нуле (7) — это те же 5 и ещё поисковые краулеры (2).
Что складывается в «AI-запросы». AI-запросы (2244), от которых ниже считается доля Markdown-двойников, — это сумма пришедших агентов (6): Amazonbot 1140, ClaudeBot 901, Applebot 121, GPTBot 67, PerplexityBot 10, Bytespider 5. Googlebot и bingbot в неё не входят. Amazonbot и Applebot, которые в этой таблице отнесены к поисковому индексу, входят и дают 1261 из 2244. Файл данных не фиксирует, какой агент запрашивал двойники, поэтому 35% нельзя разложить по агентам.
Агенты OpenAI, работающие во время ответа, так и не пришли. Агенты Perplexity пришли.
Операторы публикуют разных агентов для разных задач: один собирает страницы для обучения, другой загружает страницу, отвечая на живой вопрос. За этот период OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User зарегистрировали ноль запросов — в том числе оба агента OpenAI, работающие во время ответа. PerplexityBot пришёл — 10 раз.
Поэтому честная версия — не «ассистенты никогда не загружают страницы»: один из них загружает, примерно раз в день. Она уже: для этого домена за этот период ни один агент, назвавшийся агентом OpenAI, не загрузил этот сайт во время ответа. Сначала мы прочитали это как «ChatGPT не видит наших страниц». Следующий раздел объясняет, почему это прочтение было неверным.
Очевидное возражение — что мы их заблокировали. Нет: OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User каждый назван в нашем robots.txt с Allow: /, наряду с краулерами для обучения. Ноль — это их поведение, а не наша конфигурация; проверьте собственный robots-файл, прежде чем считать свой ноль находкой.
Ноль загрузок — и ChatGPT всё равно дал на нас ссылку
21 сентября 2026 года мы спросили ChatGPT во временном чате с выключенной памятью: «free tool to check my iOS app's keyword ranking in the App Store». Он поставил нашу бесплатную проверку позиций второй из пяти и дал прямую ссылку на /tools/rank-check с добавленным utm_source=chatgpt.com. Наш собственный журнал посещений уже две недели фиксировал переходы с chatgpt.com — двое из этих посетителей затем создали аккаунт.
Значит, ноль в логе доступа и цитирование верны одновременно. Ответ был собран из поискового индекса, который у ChatGPT уже был, а не из живого запроса агента, назвавшегося агентом OpenAI. Для владельца сайта вывод практический: ноль в логе не значит, что вы невидимы для ChatGPT, а цитирование не значит, что он прочитал вашу страницу сегодня.
Какой индекс? Справочный центр OpenAI говорит, что поиск ChatGPT «иногда сотрудничает с другими поисковыми провайдерами», и отсылает к заявлению о конфиденциальности Microsoft — то есть это Bing. bingbot запросил здесь страницы 435 раз за период, все были отданы нормально, — и всё же в тот же день поиск в Bing по точному названию нашего сравнения бесплатных инструментов не вернул ничего с этого домена. Мы не можем сказать, какой индекс дал цитирование; мы можем сказать, что обход и индексация — разные шаги и что новому сайту обычно не хватает именно второго.
Треть всего трафика краулеров идёт на текстовые двойники
Каждая страница здесь существует и как Markdown-двойник в .md.txt, наряду с llms.txt и llms-full.txt. За тот же период краулеры запросили эти двойники 788 раз из 2244 AI-запросов всего — 35% всего, что они запрашивали. На HTML-страницы с контентом пришлось 1083.
Мы построили этот слой в расчёте на то, что им будут пользоваться, не имея доказательств ни в ту, ни в другую сторону. Пользуются им активно — не больше, чем HTML, но того же порядка величины, и это при слое, публикация которого почти ничего не стоит. По этим данным он не декоративный.
Что из этого стоит делать и чего не стоит
Стоит делать
Публикуйте чистую текстовую копию страниц, держите собственное описание фактическим и следите, чтобы страницы, описывающие ваше приложение, были теми, что найдёт краулер для обучения, — сторонние обзоры важнее собственного маркетинга. Затем измерьте снова через месяц, а не верьте изменению на слово.
Попадите в поисковые индексы, которые заимствуют ассистенты. Подтвердите сайт в Bing Webmaster Tools, а не только в Google Search Console, и отправьте sitemap в оба — обход не равен индексации, а страницу, которой нет в индексе, нельзя извлечь для ответа. Затем поищите там точные заголовки собственных страниц: это самая дешёвая проверка из возможных.
Не стоит делать
Переписывать страницы каждую неделю ради загрузки во время ответа, которой не происходит. Покупать инструмент, обещающий «оптимизацию под ChatGPT», не сказав вам, запрашивает ли движок, который он измеряет, ваш домен вообще. И считать один замер — наш или ваш — трендом.
Частые вопросы
Заходит ли ChatGPT на мой сайт, когда кто-то спрашивает о моём приложении?
Иногда, и это можно проверить, а не предполагать. OpenAI документирует разных агентов для обучения и для просмотра во время ответа; агенты времени ответа появляются в логе доступа под своим именем, когда приходят. За наш собственный измеренный период они не пришли ни разу — и ChatGPT всё равно ссылался на наши страницы, потому что его ответ опирался на уже имеющийся поисковый индекс, а не на живой визит.
Стоит ли блокировать AI-краулеры в robots.txt?
Если вы хотите, чтобы вас называли в ответах ассистентов, блокировка краулеров для обучения работает прямо против этого: именно через них ваш продукт становится тем, что знает модель. Блокировка разумна по другим причинам, но это компромисс, а не бесплатная предосторожность.
Читают ли на самом деле llms.txt и Markdown-копии страниц?
На этом домене — активно: 788 из 2244 запросов AI-краулеров за измеренный период пришлись на текстовые двойники против 1083 на HTML-страницы. Это данные одного сайта, а не правило, но стоимость их публикации близка к нулю.
Можно ли пробраться в ответы AI обманом?
С пользой — нет. Ответ ассистента строится из того, что написано о вас во многих источниках; страница, утверждающая, что вы лучшие, от этого не становится правдой. Двигает его то, что вас точно описывают — в местах, кроме вашего собственного домена, — на протяжении времени.
Проверьте на своём приложении
Вставьте ссылку на приложение и добавьте ключевые слова. Позиция, приложения выше вас и спрос измеряются каждый день.
Бесплатный план: 1 приложение, по 10 ключевых слов в 2 витринах, 14 дней истории, без карты и без срока. Pro — $29/мес.
Начать бесплатно →
