자주 혼동되는 두 가지 질문
언급되는 것과 가져가는 것은 별개입니다. 어시스턴트는 사이트에 한 번도 요청하지 않고도 학습 중에 흡수한 내용으로 앱을 언급할 수 있습니다. 반대로 답변 시점에 사이트를 가져가고도 앱을 언급하지 않을 수도 있습니다. 하나를 측정해도 다른 하나에 대해서는 아무것도 알 수 없으며, 이 주제에 관한 조언 대부분은 둘을 슬그머니 합쳐 버립니다.
첫 번째 질문은 이미 측정해 0까지 포함해 공개하고 있습니다. 이 페이지는 두 번째 질문을 다룹니다. 정해진 기간 동안 실제로 이 도메인에 페이지를 요청한 크롤러는 무엇인가입니다.
들어온 요청, 2026년 9월 21일까지 14일
| User agent | 운영사 | 역할 | 요청 수 |
|---|---|---|---|
| Amazonbot | Amazon | 검색 색인 | 1140 |
| ClaudeBot | Anthropic | 학습 | 901 |
| Googlebot | 검색 색인 | 797 | |
| bingbot | Microsoft | 검색 색인 | 435 |
| Applebot | Apple | 검색 색인 | 121 |
| GPTBot | OpenAI | 학습 | 67 |
| PerplexityBot | Perplexity | 답변 시점 | 10 |
| Bytespider | ByteDance | 학습 | 5 |
| OAI-SearchBot | OpenAI | 답변 시점 | 없음 |
| ChatGPT-User | OpenAI | 답변 시점 | 없음 |
| Claude-User | Anthropic | 답변 시점 | 없음 |
| CCBot | Common Crawl | 학습 | 없음 |
| meta-externalagent | Meta | 학습 | 없음 |
| Google-Extended | 학습 | 없음 | |
| Perplexity-User | Perplexity | 답변 시점 | 없음 |
| Claude-SearchBot | Anthropic | 답변 시점 | 없음 |
| DuckAssistBot | DuckDuckGo | 답변 시점 | 없음 |
| MistralAI-User | Mistral | 답변 시점 | 없음 |
정정, 2026년 10월 11일: 이 표의 역할을 읽는 법
이 페이지의 표와 본문은 2026년 9월 21일에 공개한 그대로 두었습니다. 다시 측정한 것은 없으며, 이 주석은 세 가지 항목을 읽는 방법을 바로잡습니다.
Google-Extended는 크롤러가 아닙니다. Google의 크롤러 문서(페이지 최종 업데이트 2026년 7월 14일, 2026년 10월 11일 확인)에는 이렇게 적혀 있습니다. "Google-Extended doesn't have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity." 즉 Google-Extended는 자체 user agent로 요청을 보내지 않으며, 크롤링은 기존 Google 크롤러가 합니다. 이 이름은 robots.txt에서 쓰는 제어 토큰입니다. Google이 이미 크롤링하는 페이지를 Gemini 모델 학습과 답변 그라운딩에 써도 되는지를 정할 뿐, Google 검색에는 영향을 주지 않습니다. 접속 로그에는 나타날 수 없습니다. 따라서 위 표의 해당 행은 관측 결과가 아니며, 오지 않은 에이전트로 세어서는 안 됩니다. 이 기간 Google의 요청은 Googlebot 행의 797건입니다.
"답변 시점"이라는 분류에는 서로 다른 두 가지 역할이 섞여 있었습니다. 각 운영사의 문서(OpenAI, Perplexity, Anthropic, DuckDuckGo, Mistral, 2026년 10월 11일 확인)에 따르면 OAI-SearchBot, PerplexityBot, Claude-SearchBot은 검색 크롤러입니다. 어시스턴트가 나중에 검색할 색인을 만들며 자체 일정에 따라 움직입니다. ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User는 사용자가 질문한 바로 그때 페이지를 가져옵니다. DuckAssistBot은 DuckDuckGo의 AI 지원 답변을 위해 실시간으로 크롤링합니다.
| User agent | 위 표의 분류 | 운영사 문서상의 역할 | 요청 수(변동 없음) |
|---|---|---|---|
| PerplexityBot | 답변 시점 | 검색 크롤러 | 10 |
| OAI-SearchBot | 답변 시점 | 검색 크롤러 | 없음 |
| ChatGPT-User | 답변 시점 | 사용자 질문으로 시작되는 가져오기 | 없음 |
| Claude-User | 답변 시점 | 사용자 질문으로 시작되는 가져오기 | 없음 |
| Google-Extended | 학습 | robots.txt 제어 토큰(요청을 보내지 않음) | 없음 |
| Perplexity-User | 답변 시점 | 사용자 질문으로 시작되는 가져오기 | 없음 |
| Claude-SearchBot | 답변 시점 | 검색 크롤러 | 없음 |
| DuckAssistBot | 답변 시점 | AI 답변을 위한 실시간 크롤링 | 없음 |
| MistralAI-User | 답변 시점 | 사용자 질문으로 시작되는 가져오기 | 없음 |
이렇게 읽으면 다음 섹션의 제목은 로그가 보여 주는 것보다 많은 것을 말하고 있습니다. 질문 시점에 페이지를 가져오는 에이전트 5개는 하나도 오지 않았고, 모두 0입니다. Perplexity에서 온 것은 검색 크롤러였고 10번 왔습니다. OpenAI와 Anthropic의 검색 크롤러는 오지 않았습니다. 0이었던 "답변 시점" 에이전트 7개는 이 5개와 검색 크롤러 2개입니다.
"AI 요청" 합계에 들어간 것. 아래에서 Markdown 사본의 비중을 계산할 때 쓴 AI 요청 2244건은 실제로 온 에이전트 6개의 합계입니다(Amazonbot 1140, ClaudeBot 901, Applebot 121, GPTBot 67, PerplexityBot 10, Bytespider 5). Googlebot과 bingbot은 빠져 있습니다. 이 표에서 검색 색인으로 분류한 Amazonbot과 Applebot은 포함되어 있으며 2244건 중 1261건을 차지합니다. 어느 에이전트가 Markdown 사본을 요청했는지는 데이터 파일에 기록되어 있지 않아, 35%를 에이전트별로 나눌 수 없습니다.
OpenAI의 답변 시점 에이전트는 오지 않았고, Perplexity는 왔습니다
운영사들은 작업별로 별도의 에이전트를 공개합니다. 하나는 학습용 페이지를 모으고, 다른 하나는 실시간 질문에 답하는 동안 페이지를 가져옵니다. 이 기간에 OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User의 요청은 0건이었고, OpenAI의 답변 시점 에이전트 두 개가 모두 여기에 포함됩니다. PerplexityBot은 10번 왔습니다.
그러니 정직하게 말하면 "어시스턴트는 절대 가져가지 않는다"가 아닙니다. 그중 하나는 하루 약 1건 수준으로 가져갑니다. 결론은 그보다 좁습니다. 이 도메인에서, 이 기간에, OpenAI라고 자신을 밝힌 어떤 에이전트도 답변 중에 이 사이트를 가져가지 않았습니다. 처음에는 이를 "ChatGPT가 우리 페이지를 볼 수 없다"로 읽었습니다. 그 해석이 왜 틀렸는지는 다음 섹션에서 설명합니다.
당연히 나올 반론은 우리가 차단했다는 것입니다. 그렇지 않습니다. OAI-SearchBot, ChatGPT-User, Claude-User, Perplexity-User, Claude-SearchBot, DuckAssistBot, MistralAI-User는 학습 크롤러와 함께 모두 robots.txt에 Allow: /로 명시되어 있습니다. 0은 우리 설정이 아니라 그들의 행동입니다. 자신의 0을 결론으로 읽기 전에 자신의 robots 파일부터 확인하세요.
가져간 적은 0번인데, ChatGPT는 우리에게 링크했습니다
2026년 9월 21일, 메모리를 끈 임시 채팅에서 ChatGPT에 "free tool to check my iOS app's keyword ranking in the App Store"라고 물었습니다. ChatGPT는 5개 중 두 번째로 우리의 무료 순위 확인 도구를 들고, utm_source=chatgpt.com이 붙은 /tools/rank-check로 바로 링크했습니다. 우리 방문 로그에는 2주 동안 chatgpt.com에서 온 방문이 기록되고 있었고, 그중 두 명은 계정을 만들었습니다.
즉 액세스 로그의 0과 인용은 동시에 참입니다. 답변은 OpenAI라고 자신을 밝힌 에이전트의 실시간 요청이 아니라, ChatGPT가 이미 갖고 있던 검색 색인으로 만들어졌습니다. 사이트 운영자에게 주는 교훈은 실용적입니다. 로그의 0이 ChatGPT에게 보이지 않는다는 뜻은 아니며, 인용되었다고 해서 오늘 페이지를 읽었다는 뜻도 아닙니다.
어떤 색인일까요? OpenAI 도움말 센터는 ChatGPT 검색이 "때때로 다른 검색 제공업체와 협력한다"고 하며, 그 제공업체에 대해 Microsoft의 개인정보 처리방침을 안내합니다. 즉 Bing입니다. 이 기간에 bingbot은 이 사이트에 435번 요청했고 모두 정상적으로 응답받았습니다. 그런데 같은 날, 우리 무료 도구 비교 페이지의 정확한 제목으로 Bing을 검색하자 이 도메인의 결과는 하나도 나오지 않았습니다. 어떤 색인이 인용을 만들었는지는 알 수 없습니다. 알 수 있는 것은 크롤링과 색인이 별개의 단계이며, 새 사이트가 보통 빠져 있는 곳은 두 번째 단계라는 점입니다.
크롤러 트래픽의 3분의 1은 일반 텍스트 사본으로 갑니다
이 사이트의 모든 페이지는 llms.txt, llms-full.txt와 함께 .md.txt 형식의 Markdown 사본으로도 존재합니다. 같은 기간에 크롤러는 전체 AI 요청 2244건 중 788건을 이 사본에 요청했습니다. 요청 전체의 35%입니다. HTML 콘텐츠 페이지는 1083건이었습니다.
우리는 이 계층이 쓰일 것이라는 가정으로 만들었고, 어느 쪽으로도 증거는 없었습니다. 실제로는 많이 쓰입니다. HTML보다 많지는 않지만 같은 규모이며, 공개하는 데 비용이 거의 들지 않는 계층에서 나온 결과입니다. 이 증거로 보면 장식이 아닙니다.
이 결과가 권하는 것과 권하지 않는 것
해 볼 만한 것
페이지의 깔끔한 일반 텍스트 사본을 공개하고, 자신에 대한 설명은 사실대로 유지하며, 앱을 설명하는 페이지가 학습 크롤링에서 발견될 만한 페이지인지 확인하세요. 자체 마케팅보다 제3자의 글이 더 중요합니다. 그리고 변화를 믿기보다 한 달 뒤에 다시 측정하세요.
어시스턴트가 빌려 쓰는 검색 색인에 들어가세요. Google Search Console뿐 아니라 Bing Webmaster Tools에서도 사이트를 인증하고 두 곳 모두에 사이트맵을 제출하세요. 크롤링된 것과 색인된 것은 다르며, 색인에 없는 페이지는 답변에 가져다 쓸 수 없습니다. 그다음 거기서 자기 페이지의 정확한 제목을 검색해 보세요. 가장 저렴한 확인 방법입니다.
할 가치가 없는 것
일어나지도 않는 답변 시점 요청을 쫓아 매주 페이지를 고쳐 쓰는 것. 측정하는 엔진이 도메인에 한 번이라도 요청하는지 알려 주지 않으면서 "ChatGPT 최적화"를 약속하는 툴을 사는 것. 그리고 우리 것이든 여러분 것이든 측정 한 번을 추세로 취급하는 것.
자주 묻는 질문
누군가 내 앱에 대해 물으면 ChatGPT가 내 웹사이트를 방문하나요?
때때로 그렇고, 가정하는 대신 확인할 수 있습니다. OpenAI는 학습용과 답변 시점 브라우징용 에이전트를 따로 문서화하며, 답변 시점 에이전트는 방문하면 액세스 로그에 이름으로 나타납니다. 우리가 측정한 기간에는 한 번도 오지 않았습니다. 그래도 ChatGPT는 우리 페이지에 링크했습니다. 답변이 실시간 방문이 아니라 이미 갖고 있던 검색 색인을 바탕으로 했기 때문입니다.
robots.txt에서 AI 크롤러를 차단하는 게 좋을까요?
어시스턴트 답변에서 언급되고 싶다면, 학습 크롤러를 차단하는 것은 그 목표에 정면으로 반합니다. 학습 크롤러는 제품이 모델이 아는 대상이 되는 경로이기 때문입니다. 다른 이유로 차단하는 것은 합리적인 선택일 수 있지만, 공짜 예방책이 아니라 맞바꾸는 선택입니다.
llms.txt와 페이지의 Markdown 사본은 실제로 읽히나요?
이 도메인에서는 많이 읽힙니다. 측정 기간에 AI 크롤러 요청 2244건 중 788건이 일반 텍스트 사본으로 갔고, HTML 페이지는 1083건이었습니다. 사이트 하나의 증거일 뿐 규칙은 아니지만, 공개 비용은 거의 0에 가깝습니다.
속임수로 AI 답변에 들어갈 수 있나요?
쓸모 있는 방식으로는 아닙니다. 어시스턴트의 답변은 여러 출처에서 나에 대해 쓰인 내용으로 만들어집니다. 내가 최고라고 주장하는 페이지가 그런 평가가 되지는 않습니다. 답변을 움직이는 것은 시간이 지나며 내 도메인이 아닌 곳에서 정확하게 설명되는 것입니다.
내 앱으로 직접 확인해 보세요
스토어 링크를 붙여넣고 키워드를 추가하세요. 순위, 내 위에 있는 앱, 수요를 매일 측정합니다.
무료 플랜: 앱 1개, 스토어프런트 2곳에서 각각 키워드 10개, 14일 기록. 카드 불필요, 기간 제한 없음. Pro는 월 $29.
무료로 시작하기 →
