Aleph Alpha, 78조 파라미터 규모의 양국어 MoE 모델 Kolibri 공개

Aleph Alpha는 2026년 10월 3일, 새로운 Kolibri 모델의 전체 가중치를 Apache 2.0 라이선스로 공개했다고 발표했습니다. 발표 시점은 독일의 재통일 기념일과 일치해 유럽 AI 주권에 대한 기업의 입장을 강조했습니다.

Kolibri는 영어와 독일어를 동시에 지원하는 혼합 전문가(MoE) 트랜스포머입니다. 전체 파라미터 수는 78.1 조이지만, 하나의 토큰을 처리할 때 활성화되는 파라미터는 약 3.46 조에 불과해 연산 효율성을 높이면서도 모델 용량을 유지합니다.

기술 사양

이 모델은 약 262 000 토큰의 기본 컨텍스트 윈도우를 제공하며, 이는 현재 대부분의 대형 언어 모델을 크게 앞섭니다. 특수한 사용 사례에서는 최대 1 048 576 토큰까지 확장할 수 있지만, 일상적인 배포에서는 지연 시간을 최소화하기 위해 짧은 컨텍스트를 권장합니다.

MoE 효율성에도 불구하고 전체 가중치는 여전히 저장이 필요합니다. MarkTechPost는 FP8 양자화 시 약 78 GB의 저장 용량이 필요하다고 추정했습니다. 이는 단일 Nvidia H200급 가속기에 장착하거나, 80 GB 장치를 여러 대 사용해 분산 배치할 수 있는 크기입니다.

학습 데이터와 방법론

Aleph Alpha에 따르면 Kolibri는 약 20 조 개의 선별된 토큰을 사용해 학습했으며, 이는 200 조 개 이상의 원시 토큰 풀에서 추출된 것입니다. 선별된 데이터 중 21.3 %는 독일어, 6 %는 번역된 자료로 구성돼 원어민 중심의 데이터 비중이 높습니다.

학습 파이프라인은 복원력을 고려해 설계되었습니다. 체크포인트는 자동으로 처리되고, 평가가 약 한 시간 간격으로 실행되며, 하드웨어나 네트워크 장애가 발생해도 수동 개입 없이 학습이 지속됩니다.

성능 주장 및 규제 입장

Aleph Alpha는 자체 및 공개 벤치마크에서 강력한 결과를 보였으며, 토큰당 활성 파라미터 수가 더 많은 모델과도 비교했습니다. 다만 이러한 평가는 공급업체가 보고한 것이며, 독립적인 검증이 필요하다고 언급했습니다.

Kolibri는 독일과 핀란드에서 EU AI 법, 일반 목적 AI 실무 규범, GDPR 및 저작권 고려 사항을 준수하며 구축·학습되었습니다. 오픈 라이선스가 접근 장벽을 낮추지만, 라이선스 자체가 모든 하위 배포에 대한 법적 준수를 보장하지는 않는다고 강조했습니다.

• 공공 부문: 세무 행정 및 시민 서비스
• 산업 자동화 및 예측 유지보수
• 자동차 설계·시뮬레이션·규제 검증
• 반도체 칩 설계 검증
• 항공우주 시스템 엔지니어링 및 안전 분석

Aleph Alpha는 Kolibri를 규제 환경과 미션 크리티컬 워크로드에 적합한 주권 솔루션으로 포지셔닝합니다. 온프레미스 배포 옵션을 제공해 조직이 AI 스택을 완전 통제할 수 있게 함으로써 유럽 데이터 주권 정책과 맞닿아 있습니다.

Kolibri 모델의 효율성에 대한 설명을 확장하면, MoE 구조가 활성 파라미터 수를 제한하면서도 전체 파라미터 규모를 유지하는 메커니즘을 이해하는 것이 핵심이다. 활성화된 전문가 서브네트워크는 입력 토큰마다 동적으로 선택되며, 이는 연산량을 크게 절감한다는 장점을 제공한다. 그러나 선택 과정 자체가 추가적인 라우팅 연산을 요구하므로, 라우팅 오버헤드가 전체 지연 시간에 미치는 영향을 면밀히 분석해야 한다. 특히 대규모 컨텍스트를 활용할 경우 라우팅 단계가 병목 현상을 일으킬 가능성이 존재하므로, 실제 배포 환경에서 라우팅 효율성을 검증하는 것이 필요하다.

모델 저장 요구사항에 대한 한계는 단순히 용량 문제를 넘어선다. FP8 양자화 후에도 수십 기가바이트에 달하는 가중치 파일은 고성능 스토리지와 빠른 I/O 경로를 필요로 한다. 이러한 인프라 요구는 온프레미스 배포를 고려하는 기업에게 초기 투자 비용을 상승시킨다. 또한, 분산 저장 시 동기화 지연이나 네트워크 장애가 발생하면 모델 로드 과정에서 오류가 발생할 위험이 있다. 따라서 저장 구조와 복구 메커니즘을 사전에 검증하고, 장애 복구 시나리오를 시뮬레이션하는 절차가 필수적이다.

학습 데이터 선별 과정에서 나타나는 제약은 데이터 다양성과 편향 문제를 동시에 내포한다. 독일어와 번역 자료가 차지하는 비율이 상대적으로 높다는 점은 해당 언어에 대한 성능을 강화하지만, 다른 언어 혹은 도메인에 대한 일반화 능력을 제한할 수 있다. 데이터 필터링 기준이 공개되지 않은 상태에서는, 어떤 유형의 텍스트가 제외되었는지 파악하기 어려워 모델이 특정 주제에 대해 과소 또는 과대 평가될 가능성이 있다. 따라서 외부 검증팀이 데이터 구성 요소를 재현하고, 편향 측정을 수행하는 절차가 필요하다.

성능 주장에 대한 독립 검증 필요성은 모델 신뢰성을 확보하는 핵심 요소이다. 벤치마크 결과가 공급업체 자체에서 보고된 경우, 재현 가능성 검증을 위해 동일한 평가 프로토콜을 외부 연구기관이 적용해야 한다. 특히 토큰당 활성 파라미터 수가 높은 모델과의 비교에서는, 동일한 하드웨어 환경과 동일한 프롬프트 세트를 사용해 결과 차이를 정량화하는 것이 중요하다. 이러한 검증 과정이 누락될 경우, 실제 사용 시 기대 성능과 차이가 발생할 위험이 존재한다.

규제 준수와 오픈 라이선스의 실질적 의미를 구체화하면, 법적 책임과 기술적 구현 사이의 경계가 명확히 드러난다. Apache 2.0 라이선스는 소스 코드와 가중치의 자유로운 이용을 허용하지만, 파생 제품이 EU AI 법이나 GDPR을 위반할 경우 라이선스 자체가 면책을 제공하지 않는다. 따라서 기업은 자체적인 규제 검토 절차를 마련하고, 모델 사용 시 개인정보 보호와 데이터 최소화 원칙을 적용해야 한다. 또한, 온프레미스 배포 옵션이 제공되더라도, 하드웨어 및 운영 체제 수준에서 보안 패치를 최신 상태로 유지하는 관리 체계가 필수적이다.

실제 적용 사례에서 파생되는 실용적 결과를 살펴보면, 대용량 컨텍스트 윈도우가 문서 전체를 한 번에 처리할 수 있게 함으로써 검토 프로세스가 크게 단축된다. 그러나 긴 컨텍스트를 사용할 경우 메모리 사용량이 급증하고, 이에 따른 비용 증가가 불가피하다. 따라서 조직은 업무 요구에 맞는 컨텍스트 길이를 선택하고, 필요 시 컨텍스트 슬라이싱 전략을 도입해 비용 효율성을 확보해야 한다. 또한, 오픈‑웨이트 모델을 내부에서 파인튜닝할 경우, 파인튜닝 데이터의 품질 관리와 모델 업데이트 주기를 명확히 정의함으로써 거버넌스와 일관성을 유지할 수 있다.

한국 기업에게도 Kolibri의 양국어 기능은 독일어 데이터에 직접 접근할 수 있는 길을 열어줍니다. 대용량 기본 컨텍스트는 방대한 문서, 계약서, 코드베이스를 한 번에 처리할 수 있어 컴플라이언스 검토와 기술 감사 절차를 효율화합니다. 또한 오픈‑웨이트 모델이므로 기업 내부에서 파인튜닝하거나 아키텍처를 감시해 자체 거버넌스와 일치시키고, 외부 클라우드 제공업체에 대한 의존도를 낮출 수 있습니다.