TL;DR — 사업자등록증 필드 추출에 쓰던 Tesseract OCR이 성능이 잘 안 나왔고, 이를 더 튜닝하는 비용보다 무료로 쓸 수 있는 외부 API(Gemini)로 바꾸는 게 낫다고 판단해 교체했다. 출력 형식을 JSON으로 지정하니 추출 정확도가 크게 올랐다.

배경

• 프로젝트/기능: 한국비건인증센터 — 기업이 인증 신청 시 제출하는 사업자등록증(PDF)에서 상호·사업자번호·대표자·주소 등 필드를 자동 추출
• 환경: Spring Boot 3.5(Java 21), PDFBox, Google GenAI(Gemini)
• 처음 구현: Tesseract OCR 적용(2025-11)

문제 (증상)

• Tesseract의 인식 성능 자체가 사업자등록증에서 만족스럽지 않았다(필드 누락·오인식)
• 정확도를 끌어올리려면 전처리·파라미터·후처리 규칙을 계속 손봐야 했다

원인 분석 / 판단

• 핵심은 "현 모델을 더 튜닝하는 비용" vs "대안으로 교체하는 비용·효과"의 비교였다
• Tesseract 튜닝을 이어가는 비용보다, 무료로 쓸 수 있는 외부 API(Gemini)로 교체하는 편이 정확도·유지보수 면에서 낫다고 판단
• 멀티모달 LLM은 이미지에서 바로 필드를 이해할 수 있어 전처리·후처리 규칙 부담도 작다

해결

Gemini Vision으로 교체(2026-02)하고, 출력 형식을 JSON으로 지정해 필드를 구조화된 형태로 직접 받았다 — 이 JSON 형식 지정이 정확도를 크게 끌어올렸다.

private static final String GEMINI_MODEL = "gemini-3.1-flash-lite-preview";

public BusinessRegistrationInfo extractBusinessRegistrationInfo(MultipartFile pdfFile) throws IOException {
    // 1. PDF → 이미지(PDFBox) → base64
    // 2. Gemini Vision 호출 (필드를 JSON 형식으로 추출하도록 지정)
    String extractedJson = callGeminiVisionApi(base64Image);
    // 3. JSON → BusinessRegistrationInfo
    return parseJsonToBusinessRegistrationInfo(extractedJson);
}

• 출력을 자유 텍스트가 아니라 JSON 스키마로 고정 → 필드 매핑이 안정되고 오인식이 줄어 정확도 향상
• LLM 응답이 가끔 코드펜스·잡텍스트를 포함 → extractJsonFromText()로 JSON만 정제 후 파싱(신뢰 경계)
• 결과: Tesseract 의존·정규식 후처리 제거 → OcrService 코드 대폭 축소(개선 커밋에서 약 -90줄)

고려한 트레이드오프

• 외부 LLM 의존·네트워크 지연 vs 정확도·유지보수성. 무료 티어로 쓸 수 있어 비용 부담도 낮다고 판단