Jina AI stellt jina-ocr-v1 vor: GPU‑günstiger Dokumentparser mit MoE und spekulativer Decodierung

Jina AI hat die Veröffentlichung von jina-ocr-v1 angekündigt, einem Dokument‑Parsing‑Modell, das PDFs, gescannte Bilder, Tabellen, Diagramme und Rechnungen in strukturiertes Markdown überführt. Das Modell ist Teil der Jina‑Integration in Elastic und lässt sich nahtlos in bestehende Such‑ und Analyse‑Pipelines einbinden.

Mit insgesamt 3,4 Milliarden Parametern nutzt das System eine Mixture‑of‑Experts‑Architektur (MoE), bei der pro Token lediglich etwa 570 Millionen Parameter aktiviert werden. Diese selektive Aktivierung ist der zentrale Mechanismus, der die Inferenzkosten auf preiswerten GPUs deutlich senkt.

Effiziente visuelle Kodierung

Der Encoder von jina‑ocr‑v1 komprimiert eine Seite mit einer Auflösung von 1 024 × 1 024 Pixel zu 256 visuellen Tokens. Im dynamischen Modus können bis zu neun lokale Kacheln hinzugefügt werden, wodurch die Token‑Anzahl auf maximal 1 156 ansteigt. Dieses flexible Token‑Budget ermöglicht es, feine Details komplexer Layouts zu erhalten, ohne den Speicherverbrauch unverhältnismäßig zu erhöhen.

Spekulative Decodierung mit FastMTP

Ein neuartiger spekulativer Decodierungs‑Head, FastMTP, sagt drei Tokens im Voraus voraus und validiert sie gierig. Das Verfahren garantiert, dass das Endergebnis dem eines herkömmlichen Decoders entspricht, während die benötigten Decodierungsschritte etwa halbiert werden.

Benchmarks mit der OmniDocBench v1.6‑Suite geben jina‑ocr‑v1 einen Score von 91,14, und das Modell erreicht 83,4 im olmOCR‑Bench. Zwar liegt es nicht an der Spitze reiner Qualitätsrankings, doch sein Hauptvorteil liegt in der Durchsatz‑pro‑Dollar‑Leistung.

Auf einer Nvidia A100 40 GB‑GPU wurde eine Verarbeitungsgeschwindigkeit von 2,57 Seiten pro Sekunde bei Kosten von 32 US‑Dollar pro Stunde gemessen. Dieser Durchsatz war in der internen Studie der höchste unter den vierzehn verglichenen Systemen und demonstriert die Effizienz des Modells auch auf High‑End‑Hardware.

Auf einer einzelnen Nvidia L4‑GPU erhöht FastMTP die Token‑Generierungsrate von 42,7 auf 83,1 Tokens pro Sekunde im Eager‑Modus – ein gemeldeter Speed‑Up von 1,95 ×. Das Ergebnis zeigt, dass selbst preiswerte GPUs mit der richtigen Decodierungsstrategie nahezu Echtzeit‑Parsing erreichen können.

Modellgröße und Lizenzierung

Die BF16‑Gewichte des Modells belegen rund 6,8 GB und werden auf Hugging Face unter einer CC BY‑NC 4.0‑Lizenz bereitgestellt. Die Lizenz erlaubt akademische und Forschungsnutzung kostenlos, während kommerzielle Einsätze einer separaten Vereinbarung mit Jina AI bedürfen.

• 3,4 Milliarden Gesamtparameter
• ≈570 Millionen aktive Parameter pro Token
• 256‑bis‑1 156 visuelle Tokens pro Seite
• FastMTP spekulative Decodierung mit 3‑Token‑Vorausschau

Jina‑ocr‑v1 unterstützt laut Modellblatt 108 Sprachen. Die Entwickler geben jedoch zu, dass stark degradierte Scans nach wie vor eine Schwäche darstellen und empfehlen für kritische Dokumente eine menschliche Verifikation.

Was das für deutschsprachige Unternehmen bedeutet

Für Unternehmen in Deutschland, Österreich und der Schweiz, die große Mengen heterogener Dokumente – etwa Verträge, Rechnungen oder Fachartikel – verarbeiten müssen, bietet jina‑ocr‑v1 eine kostengünstige Lösung, die auf Mittelklasse‑GPUs wie der Nvidia L4 läuft. Die Kombination aus MoE‑basierter Parameter‑Effizienz und FastMTP‑spekulativer Decodierung ermöglicht höheren Durchsatz, ohne die Genauigkeit des extrahierten Markdown zu opfern.

Damit können Organisationen den ersten Extraktionsschritt automatisieren, die Cloud‑Rechenkosten deutlich senken, menschliche Prüfungen nur für problematische Scans reservieren und die Ergebnisse direkt in Elastic‑basierte Such‑ oder Analyse‑Stacks integrieren.

Ein weiterer Vorteil liegt in der einfachen Integration: Das Modell lässt sich über die Jina‑SDK in wenigen Zeilen Code in bestehende Pipelines einbinden, was die Time‑to‑Value für Unternehmen stark reduziert.

Die Entwickler betonen, dass das Modell kontinuierlich weitertrainiert wird, um die Erkennung von Tabellen und Diagrammen zu verbessern. Zukünftige Updates sollen die Unterstützung für handschriftliche Notizen erweitern.

Insgesamt richtet sich jina‑ocr‑v1 an Nutzer, die ein ausgewogenes Verhältnis zwischen Kosten, Geschwindigkeit und akzeptabler Genauigkeit suchen – ein Profil, das besonders für mittelständische Unternehmen in der DACH‑Region attraktiv ist.

Berlin, 19. September 2026 – Die Veröffentlichung von jina‑ocr‑v1 markiert einen weiteren Schritt von Jina AI, kostengünstige KI‑Lösungen für die Dokumentenverarbeitung bereitzustellen, und unterstreicht die wachsende Bedeutung von MoE‑Architekturen im deutschen Markt.