Jina AI, MoE와 FastMTP를 적용한 저비용 GPU 문서 파서 jina-ocr-v1 출시

Jina AI는 PDF, 스캔 이미지, 표, 차트 및 청구서를 구조화된 Markdown으로 변환하는 문서 파싱 모델 jina-ocr-v1의 사용 가능성을 발표했습니다. 이 모델은 Elastic과의 통합을 통해 기존 검색 및 분석 파이프라인에 손쉽게 배포할 수 있습니다.

모델은 34억 개의 파라미터를 보유하고 있지만, 혼합 전문가(MoE) 구조 덕분에 토큰당 약 5억 7천만 개의 파라미터만 활성화됩니다. 이 선택적 활성화가 저가형 GPU에서 추론 비용을 크게 낮추는 핵심 메커니즘입니다.

효율적인 시각 인코딩

jina-ocr-v1의 인코더는 1 024 × 1 024 픽셀 페이지를 256개의 시각 토큰으로 압축합니다. 동적 모드를 활성화하면 최대 9개의 로컬 타일을 추가해 토큰 수를 최대 1 156까지 늘릴 수 있습니다. 이 유연한 토큰 예산은 복잡한 레이아웃에서도 세밀한 디테일을 유지하면서 메모리 사용량을 폭증시키지 않게 합니다.

FastMTP를 활용한 추측 디코딩

새로운 추측 디코딩 헤드인 FastMTP는 세 토큰을 앞서 예측하고 탐욕적으로 검증합니다. 이 방식은 기존 디코더와 동일한 최종 출력을 보장하면서 디코딩 단계 수를 약 절반으로 줄여줍니다.

OmniDocBench v1.6 스위트에서 jina-ocr-v1은 91.14점을 기록했으며, olmOCR‑Bench에서는 83.4점을 기록했습니다. 이러한 수치는 순수 품질 순위에서 최고는 아니지만, 모델의 주된 강점은 달러당 처리량 성능에 있습니다.

Nvidia A100 40 GB GPU에서 동시성 32로 실행했을 때 팀은 초당 2.57 페이지를 처리하는 속도를 측정했습니다. 이 처리량은 내부 연구에서 비교된 14개 시스템 중 가장 높았으며, 고성능 하드웨어에서도 모델의 효율성을 강조합니다.

단일 Nvidia L4 GPU에서 FastMTP를 사용할 경우, 토큰 생성 속도가 42.7에서 83.1 토큰/초로 상승해 1.95배 가속이 보고되었습니다. 이는 저예산 GPU에서도 적절한 디코딩 전략만 있으면 실시간에 가까운 문서 파싱이 가능함을 보여줍니다.

모델 크기와 라이선스

모델의 BF16 가중치는 약 6.8 GB를 차지하며, Hugging Face에 CC BY‑NC 4.0 라이선스로 공개되어 있습니다. 이 라이선스는 학술·연구 용도는 무료로 허용하지만, 상업적 배포는 Jina AI와 별도 계약이 필요합니다.

• 34억 전체 파라미터
• ≈5억 7천만 활성 파라미터(토큰당)
• 페이지당 256~1 156 시각 토큰
• 3 토큰 앞선 FastMTP 추측 디코딩

jina-ocr-v1은 공식 모델 시트에 따르면 108개 언어를 지원합니다. 다만, 심하게 손상된 스캔 이미지에 대해서는 여전히 약점이 있어 중요한 문서에는 인간 검증 단계를 권장합니다.

한국 기업에 미치는 의미

이 모델은 혼합 전문가 구조를 활용해 전체 파라미터 규모는 유지하면서도 실제 추론 단계에서 활성화되는 파라미터 수를 크게 제한한다는 점에서 효율성을 설명한다. 선택적 활성화 메커니즘은 입력 토큰마다 필요한 전문가만 동적으로 호출함으로써 연산량을 감소시키고, 저비용 GPU에서도 메모리와 전력 소모를 최소화한다는 이론적 근거를 제공한다.

그러나 이러한 선택적 활성화는 입력 특성에 따라 활성화되는 전문가가 변동될 수 있기 때문에 일관된 성능을 보장하기 어려운 한계가 존재한다. 특히 복잡한 레이아웃이나 비정형 요소가 많은 문서에서는 전문가 선택이 최적화되지 않아 정확도가 저하될 가능성이 있다. 이런 경우 모델의 안정성을 검증하기 위해 다양한 레이아웃 변형에 대한 테스트가 필요하다.

FastMTP 추측 디코딩은 디코더 단계에서 앞선 토큰을 미리 예측하고 검증함으로써 전체 디코딩 과정을 단축한다는 원리를 설명한다. 이 방식은 기존 디코더와 동일한 최종 출력을 유지하면서도 연산 단계 수를 크게 줄여 처리 속도를 높인다. 하지만 추측이 틀릴 경우 재검증 과정이 추가되므로, 실제 가속 효과는 입력 복잡도와 오류율에 따라 달라질 수 있다.

실제 검증 단계에서는 표준 벤치마크 스위트를 활용해 모델의 품질 점수와 처리량을 동시에 측정한다. 품질 점수는 상대적인 정확도를 나타내며, 처리량은 비용 대비 성능을 평가한다. 이러한 두 축을 모두 고려함으로써 모델이 특정 사용 환경에서 어느 정도의 효율성을 발휘할 수 있는지 종합적으로 판단한다.

실용적인 관점에서 저비용 GPU에서도 실시간에 가까운 문서 파싱이 가능하다는 점은 기업의 운영 비용 절감에 직접적인 영향을 미친다. 특히 클라우드 환경에서 GPU 사용량에 따라 비용이 변동되는 상황에서, 처리량 대비 비용 효율이 높은 모델은 전체 파이프라인의 경제성을 크게 향상시킨다. 이를 통해 자동화 단계와 인간 검증 단계의 균형을 최적화할 수 있다.

마지막으로 모델 배포와 라이선스 조건을 고려한 운영 전략이 필요하다. 연구 목적의 자유로운 사용은 가능하지만, 상업적 활용 시 별도 계약이 요구되므로, 기업은 법적·재정적 측면을 사전에 검토해야 한다. 또한 모델 크기와 메모리 요구량을 감안해 적절한 하드웨어 환경을 선택하고, 지속적인 모니터링을 통해 성능 변동을 관리하는 것이 실무 적용에 있어 중요한 절차가 된다.

대량의 계약서, 청구서, 연구 논문 등 다양한 문서를 처리해야 하는 한국 기업에게 jina-ocr-v1은 중급 GPU인 Nvidia L4에서도 실행 가능한 비용 효율적인 솔루션을 제공합니다. MoE 기반 파라미터 효율성과 FastMTP 추측 디코딩의 결합으로 클라우드 컴퓨팅 비용을 크게 절감하면서도 추출된 Markdown의 정확성을 유지합니다. 따라서 기업은 문서 추출의 1차 작업을 자동화하고, 어려운 스캔에 대해서만 인간 검토를 남겨 두며, Elastic 기반 검색·분석 스택에 바로 연동할 수 있습니다.