단 한 번도 확인하지 않고 1,300개 공항 웹사이트 온보딩 자동화하는 방법

이 기사는 1,300개 이상의 공항 웹사이트에서 항공 데이터를 수집하기 위해 개발자의 수동 작업을 제거하고, 검색 엔진과 브라우저 자동화(Playwright)를 활용해 API를 자동으로 찾아내는 온보딩 파이프라인 구축 과정을 다룹니다. 핵심은 브라우저를 '데이터 수집용'이 아닌 'API 탐색용'으로 단 한 번만 사용하고, 이후에는 가벼운 HTTP 요청으로 전환하여 확장성을 확보하는 것입니다.

• 11,300개 이상의 공항 웹사이트를 대상으로 하는 자동화된 온보딩 파이프라인 구축
• 2검색 쿼리 최적화 및 블랙리스트를 활용해 애그리게이터를 제외한 공식 웹사이트 URL 자동 추출
• 3Playwright를 이용해 네트워크 트래픽을 가로채고, JSON 응답의 키워드 기반 스코어링 알고리즘 적용
• 4브라우저는 API 탐색을 위해 단 한 번만 사용하고, 이후에는 가벼운 HTTP 요청으로 전환하여 효율성 극대화
• 5운영자 그룹, 벤더 소프트웨어, DOM 전용 등 웹사이트 패턴을 감지하여 맞춤형 설정 생성