들어가며
솔직히 처음 llms.txt라는 단어를 들었을 때 “또 무슨 텍스트 파일이야?” 싶었다. 근데 찾아보니까 이게 생각보다 꽤 중요한 흐름이더라. 구글 Lighthouse가 공식적으로 llms.txt 감사 항목을 추가했다는 소식이 나왔는데, 쉽게 말하면 AI 에이전트한테 내 사이트를 제대로 소개할 수 있는 파일이 생긴 거다.
llms.txt, 왜 필요한가?
AI 에이전트가 웹사이트를 이해하는 방식을 한번 생각해보자. 지금까지는 HTML을 파싱하거나, 페이지 전체를 크롤링하면서 내용을 파악했다. 근데 여기서 문제가 있다.
LLM의 컨텍스트 윈도우(한 번에 처리할 수 있는 텍스트 양)는 한계가 있다. 광고, 내비게이션, 자바스크립트가 뒤섞인 복잡한 HTML 페이지를 AI가 읽기 좋은 형태로 변환하는 것 자체가 비효율적이다. 결국 AI 에이전트가 내 사이트의 핵심 구조를 파악하는 데 불필요하게 많은 시간을 낭비하게 된다.
llms.txt는 이 문제를 해결하기 위해 등장했다. 사이트 루트에 마크다운 형식의 파일을 하나 두고, AI가 곧바로 읽을 수 있는 요약 정보와 주요 링크를 제공하는 거다. 형식은 단순하다.
- H1: 프로젝트/사이트 이름 (필수)
- 인용문: 핵심 요약
- H2 섹션: 주요 페이지 링크 목록
실제로 이렇게 생겼다.
# My Blog
> 기술, AI, 스포츠를 다루는 한국어 블로그입니다.
## 주요 콘텐츠
- [AI 활용 가이드](/ai): Claude, ChatGPT 등 AI 도구 실사용기
- [스포츠](/sports): KBO, 축구 이슈 분석
이게 전부다. 사람도 읽을 수 있고, AI도 바로 파싱할 수 있는 마크다운 형식이라 구조 자체가 굉장히 깔끔하다.
구글 Lighthouse가 공식 지원한다는 의미
구글 Chrome 개발자 문서를 보면, Lighthouse의 “에이전트형 브라우징 감사” 항목에 llms.txt가 정식으로 포함됐다. 지금은 파일이 없어도 N/A(해당 없음)으로 처리되지만, 서버 오류가 나면 바로 경고 플래그가 뜬다.
이게 왜 중요하냐면, Lighthouse는 구글 PageSpeed Insights와 직결되는 도구다. SEO에 영향을 주는 지표들이 여기서 나온다. 구글이 이 항목을 공식 감사 목록에 올렸다는 건, 조만간 AI 에이전트 친화적인 사이트 여부가 검색 생태계에서 점점 더 중요해질 거라는 신호로 읽힌다.
AI 활용(AX) 관련 글 더 보기에서도 이런 흐름을 꾸준히 다루고 있으니 참고해봐도 좋다.
기존 표준과 어떻게 다른가?
헷갈릴 수 있는 부분이 있어서 정리해보면:
| 파일 | 대상 | 목적 |
|---|---|---|
robots.txt | 검색 크롤러 | 크롤링 허용/차단 제어 |
sitemap.xml | 검색 엔진 | 모든 페이지 URL 목록 제공 |
llms.txt | LLM / AI 에이전트 | 사이트 핵심 내용 요약 + 주요 링크 제공 |
sitemap.xml은 사이트의 모든 페이지를 나열하지만, 그 양이 LLM이 한 번에 처리하기엔 너무 방대하다. 반면 llms.txt는 AI가 정말 필요한 핵심 정보만 큐레이션해서 담는 개념이다.
이 표준은 2024년 9월 Jeremy Howard가 처음 llmstxt.org를 통해 제안했고, 현재 WordPress, Drupal, VitePress, Docusaurus 등 다양한 플랫폼에서 플러그인 형태로 지원되고 있다.
마무리
AI 에이전트가 웹을 탐색하는 시대가 이미 시작됐다. llms.txt는 그 흐름에서 내 사이트가 AI한테 제대로 읽히도록 만드는 첫 번째 준비다. 지금 당장 SEO 순위에 반영되지 않더라도, 구글이 공식 감사 항목으로 채택했다는 사실 자체가 이미 방향을 말해준다. 루트에 마크다운 파일 하나 추가하는 거, 생각보다 어렵지 않다.