웹 스크래핑을 위해 15개의 LLM을 테스트한 후 휴리스틱을 구축했습니다.

웹 스크래핑 시 방대한 HTML(DOM) 데이터를 LLM에 직접 입력할 때 발생하는 높은 비용과 지연 시간 문제를 해결하기 위해, 휴리스틱(Heuristic) 알고리즘과 LLM을 결합한 하이브리드 아키텍처를 제안합니다. 데이터 전처리를 통해 입력 크기를 99% 이상 줄임으로써, 모델의 비용 효율성과 응답 속도를 극대화한 사례를 다룹니다.

• 1대규모 DOM(500~700KB)을 LLM에 직접 입력 시 발생하는 높은 토큰 비용과 15~30초의 긴 지연 시간 문제 지적
• 2DOM 전처리(스크립트, 스타일, 불필요한 요소 제거)를 통해 데이터 크기를 580KB에서 4.2KB로 99.3% 감소시킴
• 3휴리스틱 알고리즘을 사용하여 반복되는 구조적 패턴을 0ms에 가깝게 사전 탐지하는 레이어 구축
• 4LLM의 역할을 '데이터 탐색'이 아닌 '데이터 라벨링 및 구조화'로 한정하여 전체 프로세스 시간을 2초대로 단축
• 5알고리즘(구조적 패턴 인식)과 LLM(의미론적 이해)의 역할을 분리한 하이브리드 아키텍처의 효율성 증명