Aleph Alpha lanceert Kolibri: een 78‑miljard‑parameter open‑weight Engels‑Duitse MoE‑model

Op 3 oktober 2026 heeft Aleph Alpha officieel aangekondigd dat de volledige gewichtsset van hun nieuwe Kolibri‑model beschikbaar is gesteld onder de Apache 2.0‑licentie. De publicatie viel samen met de Duitse dag van de hereniging, een datum die door het bedrijf bewust werd gekozen om hun inzet voor Europese AI‑soevereiniteit te onderstrepen.

Kolibri is een mixture‑of‑experts (MoE)‑transformer die native Engels en Duits ondersteunt. Het model telt in totaal 78,1 miljard parameters, maar per token worden slechts circa 3,46 miljard parameters geactiveerd, waardoor de rekencapaciteit tijdens inferentie aanzienlijk wordt gereduceerd zonder afbreuk te doen aan de modelcapaciteit.

Technische specificaties

Het model biedt een native contextvenster van ongeveer 262 000 tokens, een omvang die ver boven de meeste hedendaagse grote taalmodellen ligt. Voor toepassingen die extreem lange documenten moeten verwerken, maakt Aleph Alpha een verlengde context van maximaal 1 048 576 tokens mogelijk, al wordt aangeraden om de context in de praktijk korter te houden om latenties te beperken.

Hoewel de MoE‑architectuur de rekenlast vermindert, moet de volledige gewichtsset nog steeds worden opgeslagen. Volgens MarkTechPost bedraagt de opslagbehoefte ongeveer 78 GB wanneer het model wordt gekwantiseerd naar FP8. Deze omvang past op één Nvidia H200‑klasse accelerator of kan worden gespreid over meerdere 80 GB‑apparaten, afhankelijk van de gekozen runtime‑configuratie.

De implementatie vereist daarnaast een aanzienlijke hoeveelheid GPU‑geheugen voor de activatie‑routing‑logica. Aleph Alpha heeft daarom een set optimalisatiescripts geleverd die de geheugen‑footprint tijdens inferentie met tot 30 % kunnen reduceren, zonder de kwaliteit van de output te beïnvloeden.

Trainingsdata en methodologie

Aleph Alpha meldt dat Kolibri is getraind op ongeveer 20 triljoen zorgvuldig geselecteerde tokens, afkomstig uit een grotere pool van meer dan 200 triljoen ruwe tokens. Van de gecureerde data bestond 21,3 % uit Duits en slechts 6 % uit vertaald materiaal, wat duidt op een duidelijke focus op moedertaalinhoud en een minimale afhankelijkheid van machine‑vertaling.

De trainingspipeline is ontworpen voor maximale veerkracht. Checkpoints werden automatisch verwerkt, evaluaties vonden ongeveer elk uur plaats, en het systeem bleef doorgaan met trainen tijdens hardware‑ of netwerkstoringen zonder handmatige interventie, aldus de technische documentatie van het bedrijf.

Tijdens het trainingsproces werden verschillende regularisatietechnieken ingezet, waaronder sparsity‑inducing loss‑functies en curriculum‑learning, om de MoE‑routering te stabiliseren en overfitting op de minder vertegenwoordigde talen te voorkomen.

Prestatieclaims en regelgevende houding

Aleph Alpha claimt dat Kolibri uitblinkt op zowel propriëtaire als publieke benchmarks, met name op taken waarbij een groot aantal actieve parameters per token vereist is. Het bedrijf benadrukt echter dat deze resultaten intern zijn gerapporteerd en dat onafhankelijke verificatie nog moet plaatsvinden.

Kolibri is gebouwd en getraind in Duitsland en Finland met volledige naleving van de EU AI‑Act, de General‑Purpose AI Code of Practice, GDPR en relevante auteursrechtenwetgeving. De open‑weight‑licentie vergemakkelijkt toegang, maar Aleph Alpha waarschuwt dat licentie‑compliance geen automatische garantie biedt voor wettelijke naleving bij elke downstream‑implementatie.

• Toepassingen in de publieke sector, zoals belastingadministratie en burgerdiensten
• Industriële automatisering en voorspellend onderhoud
• Autodesign, simulatie en compliance‑controle
• Verificatie van halfgeleider‑chipontwerpen
• Lucht‑ en ruimtevaart‑systeemengineering en veiligheidsanalyse

Het bedrijf positioneert Kolibri als een soevereine oplossing voor gereguleerde en mission‑critical workloads. Door on‑premise‑implementaties aan te bieden, wil Aleph Alpha organisaties volledige controle over hun AI‑stack geven, een claim die aansluit bij de Europese data‑soevereiniteitspolitiek en de groeiende vraag naar interne AI‑capaciteit.

Voor Nederlandse en Belgische organisaties biedt de tweetalige capaciteit van Kolibri directe toegang tot Duitse data zonder de latentie en kosten van externe vertaalpijplijnen. Het enorme native contextvenster maakt het mogelijk om volledige contracten, beleidsdocumenten of codebases in één keer te verwerken, wat compliance‑controles en technische audits aanzienlijk versnelt.

Bovendien stelt het open‑weight‑model bedrijven in staat om intern fine‑tuning of audits uit te voeren, zodat het AI‑gedrag kan worden afgestemd op interne governance‑kaders zonder afhankelijk te zijn van externe cloud‑providers. Dit is vooral relevant voor sectoren met strenge regelgeving, zoals finance, gezondheidszorg en defensie.

Aleph Alpha heeft een uitgebreide toolkit beschikbaar gesteld voor het aanpassen van Kolibri, inclusief scripts voor data‑preprocessing, quantisatie‑optimalisatie en evaluatie‑frameworks die compatibel zijn met populaire open‑source platforms zoals Hugging Face en PyTorch.

De community‑driving benadering wordt ondersteund door een publieke Git‑repository waar onderzoekers en ontwikkelaars bugs kunnen melden, pull‑requests indienen en bijdragen aan de documentatie. Het bedrijf belooft regelmatige updates en security patches om de integriteit van het model te waarborgen.

Kortom, Kolibri vertegenwoordigt een belangrijke stap richting een Europese, open‑weight AI‑infrastructuur die zowel schaalbaar als compliant is, en biedt organisaties in de Benelux een praktische weg om geavanceerde taalmodellen intern te exploiteren zonder concessies aan soevereiniteit of prestaties.