들어가며
솔직히 나는 쇼핑할 때 이미 AI한테 먼저 물어본다. “지금 20대 초반 남자한테 선물하기 좋은 가방 뭐야?” 이런 식으로. 근데 이상하게 챗GPT가 특정 브랜드나 플랫폼 상품을 잘 못 찾아내는 경험, 해본 사람 있지 않나? 거기엔 이유가 있었다.
AI가 상품 탐색의 주요 경로로 떠오르면서, 이커머스 플랫폼들은 지금 아주 중요한 갈림길에 서 있다. AI 크롤러 봇을 열어줄 것인가, 막을 것인가. 그 선택이 앞으로 브랜드와 셀러의 생사를 가를 수도 있다.
사진 = 생성 AI 이미지
한국 소비자 40% 이상이 이미 AI로 쇼핑 탐색 중
크리테오(Criteo)의 ‘2026 커머스와 AI 트렌드 리포트’에 따르면, 한국 소비자의 40% 이상이 상품을 비교하고 발견하기 위한 채널로 AI 서비스를 활용하고 있다. 단순 검색이 아니라 탐색 경로 자체가 AI로 넘어오고 있다는 얘기다.
리스닝마인드를 운영하는 어센트AI의 박세용 대표는 “LLM 기반 AI 대화형 서비스로부터 웹사이트로의 평균 유입량이 8~10% 수준으로 증가하는 추세”라고 밝혔다. 단순히 검색 트래픽이 늘어나는 게 아니다. 경로 자체가 바뀌고 있다.
AI가 검색창을 열고, 상품을 비교하고, 결제 버튼을 누르는 ‘에이전틱 커머스’ 시대가 실제로 오고 있는 것이다.
플랫폼마다 다른 전략: robots.txt가 전략서다
AI 크롤러 봇에 대한 각 플랫폼의 입장은 robots.txt 설정으로 드러난다. 쉽게 말하면 “어떤 봇은 들어와도 돼, 어떤 봇은 안 돼”를 명시해두는 파일이다.
무신사: 3단계 차등 허용 전략
무신사는 크롤러를 세 단계로 나눠 각각 다른 권한을 부여하는 정교한 방식을 택했다.
- 1단계 (전면 허용): OpenAI의 OAI-SearchBot·ChatGPT-User, 앤트로픽의 Claude-User·Claude-SearchBot, 퍼플렉시티의 Perplexity-User 등 AI 서비스의 검색 응답용 봇
- 2단계 (개인화 영역 차단): GPTBot, ClaudeBot, Google-Extended 등 AI 학습용 크롤러
- 3단계 (전면 차단): 위에 명시되지 않은 나머지 봇
무신사 측은 “무신사 제품에 노출돼 좋은 관점에서는 노출하고, 리소스 등 여러 측면에서 도움이 되지 않는 건 허용하지 않는다”고 설명했다. AI에 내 브랜드가 잘 노출되면 좋지만, 그렇다고 데이터를 마냥 퍼주진 않겠다는 전략이다. 롯데온도 이와 유사하게 세분화된 대응을 하고 있다.
네이버·당근: 사실상 전면 차단
반면 강력한 자체 플랫폼 생태계를 보유한 서비스들은 정반대 노선을 택했다.
네이버플러스 스토어는 robots.txt에 ‘AI 크롤링 및 검색 증강 생성(RAG) 목적 접근 금지’ 를 직접 명시했다. OpenAI, Claude 등 주요 AI 서비스의 크롤러를 하나하나 나열해 차단한다. 단, 네이버 자체봇은 일부 경로를 제외하고 전면 허용했다.
당근은 여기서 더 나아가 40개 이상의 봇을 개별로 명시해 사실상 모든 외부 크롤러를 차단했다. OpenAI·Claude 봇은 물론, AI 데이터 추출 전문 업체와 이미지 데이터셋 수집 도구까지 포함된다.
차단하면 AI 세상에서 ‘없는 존재’가 된다
문제는 여기서 발생한다. 플랫폼이 크롤러를 막으면 그 플랫폼에 입점한 셀러와 브랜드 상품도 함께 AI 검색에서 사라진다. 챗GPT나 Claude에게 특정 상품을 물어봐도 제대로 된 답변을 못 받는 이유 중 하나가 바로 이것이다.
특히 국내 이커머스 시장의 특성상 대부분의 셀러는 다수 플랫폼에 동시 입점하는 멀티호밍 구조를 갖고 있다. 이 경우 상품 상세 페이지 대부분이 이미지로 구성돼 있고, 플랫폼마저 크롤러를 막으면 AI가 브랜드 정보를 읽어낼 통로 자체가 없어진다. 사실상 AI 커머스 시대에서 브랜드가 조용히 지워지는 셈이다.
마무리
네이버와 당근의 선택은 “우리 데이터는 우리가 지킨다”는 자기 방어 논리에서 나온 것이고, 무신사의 선택은 “AI에서 노출되는 게 결국 우리 이익”이라는 계산에서 나온 것이다. 누가 맞고 틀리다의 문제가 아니다.
하지만 AI 쇼핑 에이전트가 실제로 구매까지 하는 시대가 오고 있다면, 이 선택의 무게는 지금보다 훨씬 커질 것이다. 지금 robots.txt 한 줄이 내일의 매출을 결정할 수 있다.
AI가 내 브랜드를 알아야 AI가 내 브랜드를 팔 수 있다.