네이버가 AI 봇을 차단한 이유는 무엇인가요?

2024년 6~7월경 네이버는 AI 기업의 무단 크롤링과 데이터 수집을 우려해 블로그·지식인·뉴스·카페 등 주요 서비스에 GPTBot, ClaudeBot, PerplexityBot 등 AI 봇의 크롤링을 robots.txt로 전면 금지했습니다. 'BOT ACCESS FOR AI TRAINING AND RAG IS STRICTLY PROHIBITED' 문구가 명시되어 있습니다.

쿠팡은 robots.txt에 어떻게 대응하나요?

쿠팡은 robots.txt 접근 자체가 차단되어 'Sorry! Access denied'가 표시됩니다. 2024년 이후 Akamai Bot Manager를 도입해 자동화·스크래핑 도구 사용을 강하게 제한하고 있어, AI 봇의 크롤링도 실질적으로 막혀 있습니다.

RAG(검색 증강 생성)란 무엇인가요?

RAG(Retrieval-Augmented Generation)는 검색 결과를 활용해 AI가 답변을 보강하는 방식입니다. ChatGPT·Claude·Perplexity 등이 웹을 크롤링해 최신 정보를 인용하는 데 이 방식이 사용됩니다.

한국 AI 논문 인용률이 26위인 이유는?

2020~2024년 기준 한국은 AI 논문 수 6위(58,913건)이나, 논문당 평균 피인용 수는 22위, 피인용 영향력 지수(FWCI)는 26위(1.6)입니다. 국제 연구 협력률은 50개국 중 43위(33%)로, 홍콩(82.4%) 등에 비해 낮아 글로벌 가시성·인용 부족이 지적됩니다.

크롤러 제한이 AI 인용에 미치는 영향은?

네이버·쿠팡 등이 AI 봇을 차단하면 해당 플랫폼 콘텐츠는 ChatGPT·Claude·Perplexity 답변에 거의 포함되지 않습니다. 국내 콘텐츠의 AI 인용 가능성이 제한되며, 한국 연구 인용 격차와 맞물려 가시성이 추가로 악화될 수 있습니다.

개선을 위해 어떤 대안이 있나요?

학습용(GPTBot) 차단·인용용(PerplexityBot, ChatGPT-User) 허용 분리, 특정 경로만 AI 봇에 열어두는 범위 제한, AI 기업과 플랫폼 간 라이선스·API 협의 확대, AI 기본법·저작권법 정비 등이 제안됩니다.

국내 콘텐츠 AI 인용 제약과 네이버·쿠팡 등 robots.txt 크롤러 정책

ChatGPT나 클로드에 질문했을 때, 왜 우리 콘텐츠가 답변 출처로 잘 나오지 않을까요? 그 배경에는 네이버·쿠팡 등 국내 플랫폼의 robots.txt AI 봇 차단 정책이 있습니다. 옵티플로우가 2025~2026년 데이터로 현황과 대응 방안을 정리했습니다.

팩트 검증: 본 글의 플랫폼 정책은 2026년 3월 robots.txt·공개 자료 확인, 연구·통계는 2025~2026년 발표 자료를 근거로 합니다.

국내 주요 플랫폼 robots.txt 및 크롤러 정책 현황

네이버: AI 봇·RAG 목적 접근 명시적 금지

2024년 6~7월경 네이버는 블로그·지식인·뉴스·카페 등 주요 서비스에 AI 크롤링 차단 정책을 적용했습니다. blog.naver.com/robots.txt에는 2026년 3월 기준으로도 다음과 같은 문구가 동일하게 유지되고 있습니다.

BOT ACCESS FOR THE PURPOSES OF AI TRAINING AND RETRIEVAL-AUGMENTED GENERATION (RAG) IS STRICTLY PROHIBITED.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

(이하 OAI-SearchBot, Claude-SearchBot, meta-externalagent, Applebot-Extended 등 동일)

즉, AI 학습과 RAG(검색 증강 생성) 목적의 크롤링을 전면 금지하고 있습니다. 중앙일보 등 언론 보도에 따르면, 네이버 측은 AI 기업의 무단 크롤링과 데이터 수집을 우려해 이와 같은 정책을 도입했습니다. 네이버 블로그·지식인·카페에 올려두신 콘텐츠가 ChatGPT나 클로드 답변에 잘 인용되지 않는 이유 중 하나가 바로 여기에 있어요. 해당 플랫폼에서만 콘텐츠를 운영하고 계시다면, AI 인용 가시성을 높이려면 자체 웹사이트·블로그를 함께 운영하는 전략을 고려해 보시는 것이 좋습니다.

쿠팡: robots.txt 접근 차단 및 Akamai 기반 보호

쿠팡은 www.coupang.com/robots.txt 접근 자체가 차단되어 있으며(Sorry! Access denied), 2024년 이후 Akamai Bot Manager를 도입해 자동화·스크래핑 도구 사용을 강하게 제한하고 있습니다. 일반 검색엔진뿐 아니라 AI 봇의 크롤링도 실질적으로 막혀 있다고 볼 수 있습니다. 상품 정보·리뷰 등 이커머스 핵심 콘텐츠가 AI 답변에 인용되기 어려운 구조라, 쿠팡 셀러분들께서는 AI 시대 노출을 고민하신다면 자체 브랜드 사이트·블로그를 병행 운영하는 전략을 검토해 보시는 것을 추천드립니다.

당근마켓·11번가 등: 정책 다양성

당근마켓은 공개 robots.txt로 AI 봇을 명시적으로 차단하는 사례가 널리 알려지지 않았으나, 동적 API 기반 구조로 일반 크롤링이 어렵습니다. 11번가, 티몬 등 국내 이커머스 역시 각자 수준의 봇·크롤러 제한을 운영하고 있습니다. 종합하면, 국내 대형 플랫폼들이 AI 봇에 대해 전면·부분 차단 또는 강한 기술적 제한을 적용하는 추세입니다. 이는 각 플랫폼의 콘텐츠 보호·비즈니스 전략에 따른 선택이지만, 그 결과 한국어 콘텐츠의 AI 인용 풀(pool)이 상대적으로 줄어든다는 점은 콘텐츠 마케터·SEO 담당자분들이 인지하고 계실 필요가 있습니다.

플랫폼	robots.txt 정책	AI 봇 대응
네이버 블로그·지식인·뉴스·카페	AI 봇·RAG 목적 크롤링 명시적 금지	GPTBot, ClaudeBot, PerplexityBot 등 전면 차단
쿠팡	robots.txt 접근 차단	Akamai Bot Manager로 실질적 차단
당근마켓	공개 정책 불명확	동적 구조로 일반 크롤링 어려움
11번가·티몬 등	플랫폼별 상이	각 플랫폼 수준에 따라 제한

글로벌 비교: 크롤러 정책과 콘텐츠 가시성

클라우드플레어는 2025년 7월부터 AI 크롤러를 기본 차단(opt-in 방식)으로 전환했으며, 전 세계 웹사이트의 약 20%를 호스팅하는 인프라에서 적용됩니다. 2026년 클라우드플레어 자료에 따르면 OpenAI 크롤러의 크롤-리퍼럴 비율이 1,500:1에 달해, 크롤링은 많고 실제 트래픽 반환은 적다는 문제가 지적되었습니다. 콘데 나스트, AP, 레딧, 핀터레스트 등 글로벌 퍼블리셔들이 이 대응에 공동 참여하고 있어, AI 크롤링에 대한 업계 인식이 바뀌고 있음을 알 수 있어요. 반면, 미국·유럽의 일부 대형 미디어는 AI 봇을 선택적 허용하는 방식을 택하고 있으며, GPTBot(학습)은 차단하고 OAI-SearchBot·Claude-SearchBot(인용용)은 허용하는 등 역할별 분리 전략이 2025년 이후 확산되고 있습니다. 즉, "전부 차단"과 "전부 허용" 사이의 중간 전략이 점차 표준화되는 흐름입니다.

정의: RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 AI가 먼저 웹·DB를 검색한 뒤, 그 결과를 활용해 답변을 만드는 방식입니다. ChatGPT·클로드·펄플렉시티 등이 실시간 검색 기능을 쓸 때 이 RAG 파이프라인이 동작하고, 이때 크롤링·인덱싱된 콘텐츠가 인용 풀이 됩니다. 따라서 플랫폼이 AI 봇 크롤링을 차단하면 RAG 단계에서 해당 콘텐츠가 아예 후보에서 빠지게 됩니다.

국내 환경에서의 제약: AI 인용·발전 가능성과 연구 지표

국내 주요 플랫폼의 AI 봇·크롤러 제한은 다음 두 가지 측면에서 한국 콘텐츠의 가시성에 영향을 줍니다.

① AI 답변 인용 제약

ChatGPT·클로드·펄플렉시티 등에 한국어 질문을 하시면, AI는 주로 크롤링·인덱싱된 콘텐츠를 인용합니다. 네이버·쿠팡 등이 AI 봇을 차단하면 해당 플랫폼 콘텐츠는 AI 답변에 거의 포함되지 않습니다. AEO(AI 답변 최적화)·GEO(AI 인용 최적화)를 추구하시는 사업자분들께는, 이 정책이 곧 콘텐츠의 AI 노출 가능성에 직결되는 부분이에요. AI 답변에서 "출처"로 인용될수록 브랜드 신뢰도와 방문 유입이 늘어나는 시대이므로, 자사 콘텐츠가 어디에 호스팅되어 있고 어떤 크롤러에 노출되는지 점검해 보시는 것이 중요합니다.

② 연구·인용 지표에서의 격차

AI 분야 연구에서도 유사한 패턴이 보입니다. 2025~2026년 발표된 연구(2020~2024년 데이터)에 따르면, 한국은 AI 논문 수에서 세계 6위(58,913건)였으나 논문당 평균 피인용 수는 22위(18.3회), 피인용 영향력 지수(FWCI)는 26위(1.6)로 뒤처졌습니다. 2025년 스탠퍼드 AI 인덱스에서는 주목할 만한 AI 모델 62개 중 한국은 엑사원 3.5 단 1건만 선정되었고, 인구 10만명당 AI 특허는 세계 1위인 반면 AI 인재 유출률은 5위로 나타났습니다.

지표	한국	비고 (출처 기준)
AI 논문 수 (2020~2024)	6위 (58,913건)	2025~2026년 연구 발표
논문당 평균 피인용 수	22위 (18.3회)	싱가포르·홍콩 1~2위(27~28회)
피인용 영향력 지수(FWCI)	26위 (1.6)	홍콩 1위 (2.81)
국제 연구 협력률 (50개국 중)	43위 (33%)	홍콩 1위 (82.4%)
주목할 만한 AI 모델 (2025 스탠퍼드)	1개 (엑사원 3.5)	미국 40개, 중국 15개

핵심: 논문 인용은 학술 분야 지표이지만, "한국 콘텐츠의 글로벌 가시성·인용 부족"이라는 구조는 웹 크롤링 환경과 유사합니다. 국내 플랫폼의 과도한 크롤러 제한은 AI 인용 환경을 추가로 악화시킬 수 있습니다.

개선 필요성과 대안

비판이나 호평이 아니라, 옵티플로우가 정리한 현황과 연구 결과를 바탕으로, 여러분께 도움이 될 만한 개선 방향을 소개해 드리겠습니다.

플랫폼 측: 선택적 허용·역할 분리

학습용 vs 인용용 분리: GPTBot(학습)은 차단하고, PerplexityBot·ChatGPT-User(실시간 검색·인용)는 허용하는 방식으로, AI 인용은 유지하면서 학습 데이터 보호를 추구할 수 있습니다.
범위 제한: 특정 경로(예: 블로그·공개 문서)만 AI 봇에 열어두고, 개인정보·거래 정보 등은 계속 차단할 수 있습니다.
클라우드플레어·호스팅 수준 대응: 2025년 7월 클라우드플레어가 AI 크롤러 기본 차단을 도입한 이후, 플랫폼이 명시적으로 허용한 봇만 접근시키는 방식이 확산되고 있습니다. 2025년 하반기에는 크롤 접근에 대한 유상화(페이퍼크롤) 옵션도 검토되었습니다.

정책·산업 측: 데이터 접근·공정 이용 균형

라이선스·API 협의: AI 기업과 플랫폼 간 유상·무상 라이선스, API 기반 데이터 제공 등 구조적 협의가 확대되면, 무단 크롤링 의존도를 줄이면서도 한국 콘텐츠의 AI 노출을 높일 수 있습니다.

콘텐츠 제작자·사업자 측

robots.txt 명시: 자사 사이트에 대해 허용·차단할 봇을 명확히 지정하고, AI 인용을 원하시면 PerplexityBot·Google-Extended 등 인용용 봇을 허용할 수 있습니다.
멀티 채널: 국내 플랫폼뿐 아니라 글로벌 검색·AI에 노출되는 자체 웹사이트·블로그를 확충하면 AI 인용 가능성을 높일 수 있습니다. 옵티플로우도 AEO·GEO·SEO 최적화 관점에서 자체 사이트와 블로그에 이 원칙을 적용하고 있습니다.

콘텐츠 제작자를 위한 실전 체크리스트

앞서 내용을 바탕으로, 지금 당장 점검해 보시면 좋은 항목을 정리해 봤습니다.

호스팅 위치: 자사 콘텐츠가 네이버·쿠팡 등 플랫폼에만 있는지, 자체 도메인(웹사이트·블로그)도 함께 운영 중인지 확인해 보세요.
robots.txt: 자체 사이트가 있다면, /robots.txt에서 AI 봇(예: GPTBot, ClaudeBot, PerplexityBot)을 허용하는지 차단하는지 확인해 보세요. AI 인용을 원하시면 Disallow를 해제하거나 해당 봇에 대한 규칙을 추가하는 편이 좋습니다.
구조화 데이터: 제목·본문·FAQ 등을 명확히 구조화해 두면 AI가 인용하기 쉬워집니다. 스키마 마크업(JSON-LD 등) 적용도 도움이 됩니다.
품질·독창성: AI는 원문이 검증 가능하고 유용할수록 인용을 선호합니다. 표절·중복 콘텐츠보다는 독창적이고 깊이 있는 글이 더 잘 노출되는 경향이 있어요.

앞으로의 전망

2026년 현재, AI 크롤링과 콘텐츠 가시성은 글로벌적으로 재조정이 이뤄지고 있는 과도기입니다. 클라우드플레어의 페이퍼크롤 같은 유상화 모델, AI 기업과의 라이선스 협의 확대, 법·정책 정비 등이 맞물리면서 앞으로 1~2년 내에 새로운 균형점이 잡힐 가능성이 있습니다. 그 전까지는 자사 콘텐츠가 AI에 어떻게 노출될지 미리 점검하고, 필요하다면 robots.txt·호스팅 전략을 조정해 두시는 것이 유리합니다.

참고: 본 글은 2026년 3월 기준 2025~2026년 공개 데이터를 기반으로 합니다. 플랫폼 정책·통계는 시점에 따라 변경될 수 있으므로, robots.txt·봇 정책은 주기적으로 확인하시는 것이 좋습니다.

요약

네이버는 AI 학습·RAG 목적 크롤링을 robots.txt로 명시적으로 금지하고, 쿠팡은 robots.txt 접근 차단과 Akamai로 봇을 실질적으로 제한하고 있습니다. 2025년 7월 클라우드플레어의 AI 크롤러 기본 차단 도입, 2026년 크롤-리퍼럴 비율 논란 등으로 글로벌에서도 크롤링 정책이 재조정되고 있습니다. 2025~2026년 발표 연구에 따르면 한국은 AI 논문 수 6위이나 인용 지표는 26위, 주목할 만한 AI 모델은 62개 중 1건뿐이며, 국제 협력률도 43위로 낮은 편입니다. 이러한 구조와 플랫폼의 크롤러 제한이 겹치면 한국 콘텐츠의 AI 인용·가시성이 추가로 제한될 수 있어요. 개선 방향으로는 학습용·인용용 봇 분리, 범위 제한적 허용, 라이선스·API 협의 확대, 정책·법제 정비 등이 고려될 수 있습니다.

옵티플로우와 함께하기: 저희 옵티플로우는 SEO·AEO·GEO 최적화를 제공하는 업체입니다. 검색엔진 노출부터 AI 답변·인용 가시성까지, 여러분의 콘텐츠가 더 많은 분들께 도달할 수 있도록 함께 고민하고 있어요. 궁금하신 점이 있으시면 문의해 주시면 친절히 안내해 드리겠습니다.

본 글은 옵티플로우가 2026년 3월 기준 2025~2026년 공개 자료를 바탕으로 작성했습니다. 특정 플랫폼·정책에 대한 비판 또는 지지를 목적으로 하지 않으며, 추후 정책 변경 시 내용이 달라질 수 있습니다.