SvelteKit + Cloudflare Workers에서 에이전트용 마크다운

이 글은 SvelteKit과 Cloudflare Workers를 사용하는 현대적인 웹 아키텍처에서 AI 에이전트(웹 크롤러)에게 효율적으로 마크다운 형식의 콘텐츠를 제공하는 실용적인 방법을 제시합니다. 최근 구글 제미나이, OpenAI의 GPT와 같은 AI 모델들이 웹을 크롤링하며 정보를 수집하는 'AI 크롤-요약' 시대가 도래했습니다. 이 AI들은 복잡한 HTML 구조를 파싱하는 데 불필요한 토큰을 소모하는데, 원본 마크다운을 직접 제공하면 이러한 비효율을 제거하고 AI에게 즉시 명확한 컨텍스트를 전달할 수 있습니다.

기존에 Cloudflare가 제안한 'Transform Rules'를 이용한 방식은 정적 사이트의 CDN 캐싱 문제를 해결하기 위해 고안되었습니다. 즉, HTML을 요청하는 사용자와 마크다운을 요청하는 AI 봇에게 각각 다른 캐시된 버전을 제공하기 위함입니다. 그러나 이 글의 저자는 Cloudflare Workers 기반의 동적 애플리케이션에서는 이러한 복잡한 규칙이 불필요하다고 주장합니다. Workers는 모든 요청을 직접 처리하므로 CDN 캐시 계층이 존재하지 않으며, 들어오는 요청의 'Accept' 헤더를 직접 확인하여 렌더링 이전에 분기 처리가 가능하기 때문입니다. 이는 아키텍처를 단순화하고 불필요한 복잡성을 제거하는 핵심적인 통찰입니다.

저자는 SvelteKit의 서버 훅(hooks.server.ts)을 활용한 구체적인 구현 방법을 공유합니다. 요청이 Svelte 컴포넌트 렌더링 단계에 도달하기 전에 'Accept: text/markdown' 헤더나 '?format=md' 쿼리 파라미터를 확인합니다. 마크다운 요청으로 판단되면, API에서 원본 마크다운 데이터를 직접 가져와 HTML로 변환하는 과정을 생략하고 즉시 응답합니다. 이 방식은 성능을 최적화할 뿐만 아니라, 특정 라우트에 마크다운 핸들러가 없으면 자연스럽게 일반적인 HTML 렌더링으로 폴백(fall-through)되어 유연성과 안정성을 모두 확보합니다. 더 나아가 '/llms-full.txt'와 같은 '전체 덤프' 엔드포인트를 제공하여 AI가 사이트의 모든 콘텐츠를 한 번에 효율적으로 수집할 수 있도록 배려한 점도 주목할 만합니다.

결론적으로 이 글은 기술적인 구현 가이드를 넘어, 웹 콘텐츠 제공의 패러다임 변화를 시사합니다. 인간 사용자뿐만 아니라 기계(AI) 소비자를 위한 최적화, 즉 'AIO(AI Optimization)'의 중요성이 커지고 있음을 보여줍니다. 개발자들은 이제 콘텐츠를 어떻게 구조화하고 다양한 형식으로 제공할지 고민해야 하며, 이 글은 서버리스 동적 환경에서 이를 얼마나 간단하고 우아하게 해결할 수 있는지 보여주는 훌륭한 사례입니다. 이는 웹 개발의 미래 방향성과 AI 시대의 콘텐츠 전략에 대한 중요한 시사점을 던집니다.