<aside> 🎯

한 줄 요약

약 1,800만 건·40GB 규모의 USPTO 상표 데이터를 다루는 1인 백엔드 프로젝트에서 데이터 수집 파이프라인, 검색 서비스, Case-file 크롤러의 세 업무를 수행했습니다. 작업별 병목 특성에 맞춰 비동기 I/O·멀티프로세싱·멀티스레딩·역색인을 선택하고 정량적인 성능 개선까지 수행했습니다.

</aside>

프로젝트 개요

업무 1. USPTO 데이터 수집

대용량 ZIP·XML 데이터를 자동 수집하고 MongoDB에 안정적으로 적재하는 파이프라인을 구축

문제

• 약 1,800만 건·40GB 규모의 데이터를 다운로드하고 압축 해제한 뒤 XML을 파싱·적재하는 데 약 5시간이 소요됐다.
• 전체 과정을 하나의 작업으로 보지 않고 다운로드, 압축 해제, 파싱, DB 적재로 나누어 병목의 성격을 분석했다.
  • 다운로드: 네트워크 I/O
  • 압축 해제: CPU·디스크 I/O
  • XML 파싱: CPU·메모리
  • MongoDB 적재: 네트워크·DB 디스크·인덱스

판단과 구현

• 네트워크 응답 대기가 긴 ZIP 다운로드에는 aiohttp 기반 비동기 처리를 적용해 여러 파일의 대기 시간을 중첩했다.
• CPU 사용 비중이 큰 압축 해제에는 ProcessPoolExecutor 기반 멀티프로세싱을 적용했다.
• XML을 파싱해 추출한 사건 데이터를 MongoDB BulkWrite로 일괄 저장했다.
• Serial Number를 문서 식별자로 사용하고 Upsert를 적용해 재실행 시 중복 저장을 방지했다.
• 파일 단위 처리와 재시도 로직을 구성해 장시간 작업 중 일부 요청이 실패해도 다시 수행할 수 있도록 했다.

결과

<aside> 📈

수집·전처리 시간을 약 5시간에서 2시간 30분으로 단축해 약 50% 개선했다.

</aside>

구현 근거

• DownloadManager.py — 비동기 다운로드·멀티프로세싱 압축 해제
• DatabaseManager.py — XML 파싱·MongoDB BulkWrite·Upsert