Jina AI lanceert jina-ocr-v1: goedkope GPU‑documentparser met MoE en speculatieve decodering

Jina AI heeft de lancering aangekondigd van jina-ocr-v1, een nieuw document‑parsing model dat PDF‑bestanden, gescande afbeeldingen, tabellen, grafieken en facturen omzet in gestructureerde Markdown. Het model maakt deel uit van de recente integratie van Jina met Elastic, waardoor het eenvoudig kan worden ingezet binnen bestaande zoek‑ en analyse‑pijplijnen.

Met een totale omvang van 3,4 billion parameters maakt jina-ocr-v1 gebruik van een mixture‑of‑experts (MoE) architectuur. Hierdoor worden per token slechts ongeveer 570 million parameters geactiveerd, wat de inferentiekosten aanzienlijk drukt en het model geschikt maakt voor budget‑GPU’s.

Efficiënte visuele codering

De encoder van jina‑ocr‑v1 comprimeert een pagina van 1 024 × 1 024 pixels tot 256 visuele tokens. In de dynamische modus kunnen tot negen lokale tegels worden toegevoegd, waardoor het token‑aantal kan oplopen tot maximaal 1 156. Deze flexibiliteit behoudt fijne details in complexe lay‑outs zonder het geheugen te overbelasten.

Speculatieve decodering met FastMTP

FastMTP, het nieuwe speculatieve decodering‑hoofd, voorspelt drie tokens vooruit en valideert ze grondig. De methode levert een output die identiek is aan die van een conventionele decoder, terwijl het aantal decoderingstappen praktisch wordt gehalveerd.

In de OmniDocBench v1.6 suite behaalt jina‑ocr‑v1 een score van 91,14, en scoort het 83,4 op de olmOCR‑Bench. Deze cijfers plaatsen het model niet bovenaan de zuiver kwaliteitsranglijsten, maar de doorslaggevende factor is de door‑dollar‑doorvoersnelheid.

Op een Nvidia A100 40 GB GPU registreerde het team een verwerkingssnelheid van 2,57 pagina’s per seconde tegen een kostenpost van $32 per uur. Deze doorvoer was de hoogste van de veertien systemen die in de interne studie werden getest, wat de efficiëntie van het model op high‑end hardware onderstreept.

Wanneer het model op een enkele Nvidia L4 GPU wordt uitgevoerd, verhoogt FastMTP het token‑generatietempo van 42,7 naar 83,1 tokens per seconde in eager‑modus, een gemelde versnelling van 1,95×. Dit toont aan dat zelfs budget‑GPU’s bijna realtime documentparsing kunnen realiseren met de juiste decoderingstrategie.

Modelgrootte en licentie

De BF16‑gewichten van het model nemen circa 6,8 GB in beslag en worden gehost op Hugging Face onder een CC BY‑NC 4.0 licentie. Academisch en onderzoeksgebruik is gratis toegestaan, maar commerciële implementaties vereisen een aparte overeenkomst met Jina AI.

• 3,4 billion totale parameters
• ≈570 million actieve parameters per token
• 256‑tot‑1 156 visuele tokens per pagina
• FastMTP speculatieve decodering met 3‑token look‑ahead

Jina‑ocr‑v1 ondersteunt officieel 108 talen. De ontwikkelaars erkennen echter dat sterk verslechterde scans nog steeds een zwakte blijven en adviseren een menselijke verificatiestap voor kritieke documenten.

Wat dit betekent voor Nederlandstalige organisaties

Voor bedrijven die grote hoeveelheden uiteenlopende documenten moeten verwerken – van juridische contracten tot facturen en wetenschappelijke artikelen – biedt jina‑ocr‑v1 een kosteneffectieve oplossing die draait op mid‑range GPU’s zoals de Nvidia L4. De combinatie van MoE‑gedreven parameter‑efficiëntie en FastMTP speculatieve decodering levert hogere doorvoer zonder concessies te doen aan de nauwkeurigheid van de geëxtraheerde Markdown.

Organisaties kunnen de eerste extractiefase automatiseren tegen een fractie van de cloud‑rekencosts, de menselijke controle reserveren voor de meest problematische scans, en de output direct integreren in Elastic‑gebaseerde zoek‑ of analysesystemen.

De lage geheugendruk en de snelle token‑generatie maken het mogelijk om batch‑verwerking op standaard server‑infrastructuur uit te voeren, waardoor de totale totale eigendomskosten (TCO) aanzienlijk dalen ten opzichte van traditionele OCR‑pijplijnen.

Jina AI heeft tevens een voorbeeld‑pipeline beschikbaar gesteld op Hugging Face, inclusief Docker‑images en configuratie‑scripts, zodat ontwikkelteams snel kunnen starten zonder diepgaande kennis van MoE‑architecturen.

De community heeft al een eerste reeks plug‑ins ontwikkeld voor automatische post‑processing, zoals datumnormalisatie en factuurnummer‑extractie, die naadloos samenwerken met Elastic Search‑indexen.

Voor Nederlandse overheidsinstellingen, die vaak te maken hebben met grote archieven van gescande documenten, biedt jina‑ocr‑v1 een schaalbare en budgetvriendelijke optie om digitale archivering te versnellen.

In Amsterdam heeft een consortium van drie universiteiten al een pilotproject opgezet om jina‑ocr‑v1 te testen op historische manuscripten, waarbij de eerste resultaten wijzen op een 70 % reductie in handmatige correctiewerkzaamheden.