CLM-8B: 에이전트 행동을 고속 채점하는 오픈형 시스템 원 모델

연구 조직 콘트라스티브-LM(Contrastive-LM)이 대조 언어 모델(CLM, Contrastive Language Model) 계열의 오픈 모델인 CLM-8B를 공개했다. 토큰 단위로 텍스트를 순차 생성하는 기존의 자기회귀 대규모 언어 모델과 달리, CLM-8B는 자체적으로 텍스트를 생성하지 않는다. 대신 환경의 현재 상태를 기반으로 사전에 정의된 후보 행동 집합을 평가하여 각 선택지에 대한 확률 분포를 출력한다. 이러한 구조적 전환은 텍스트 생성에 따른 오버헤드가 상당한 지연 시간을 유발하는 자율 에이전트 루프의 의사결정 및 라우팅 단계를 정밀하게 겨냥하고 있다.

CLM-8B의 주요 비교 기준은 타입세이프 AI(TypeSafe AI)가 개발하여 2026년 9월 15일 제한적 얼리 액세스를 시작한 독점 시스템 원(System One) 모델 제브(Jev)다. 제브와 마찬가지로 CLM-8B는 생성형 산문 대신 구조화된 범주형 선택지를 산출하도록 설계되었다. 원활한 통합을 지원하기 위해 CLM 저장소는 타입세이프와 호환되는 인터페이스로 모델을 제공한다. 이 설계는 세 가지 세부 쿼리 형식을 지원한다. 특정 진술의 참일 확률을 계산하는 놀(Noul), 확률이 부여된 명시적 목록에서 단일 후보를 선택하는 초이스(Choice), 순서가 지정된 루브릭을 기준으로 입력을 채점하는 스코어(Score)다.

듀얼 인코더 구조와 에이전트 루프 내 벡터 캐싱

아키텍처 관점에서 CLM-8B는 상태 인코더와 행동 인코더로 구성된 듀얼 인코더 구조를 채택했다. 두 인코더는 동결된 Qwen3-8B 백본과 학습 가능한 2,000만 파라미터 규모의 프로젝션 헤드를 공유한다. 학습 과정에서는 양방향 InfoNCE 손실 함수를 최적화하여, 특정 상태의 임베딩을 실제로 실행된 행동의 임베딩과 가깝게 끌어당기는 동시에 선택되지 않은 후보 행동들과는 멀어지도록 유도한다. 추론 시에는 상태 임베딩과 후보 행동 임베딩의 내적을 계산한 뒤 소프트맥스 함수를 적용하여 최종 확률 분포를 도출한다.

이러한 상태 및 행동 표현의 분리는 상당한 연산 최적화를 가능하게 한다. 실제 에이전트 워크플로에서는 매 턴마다 환경 상태가 변화하지만 사용 가능한 행동 집합은 고정되어 있는 경우가 많다. 전용 서빙 컴포넌트인 clm-serve는 표준 키-값(KV) 캐싱 메커니즘에서 착안하여 사전 계산된 행동 벡터를 저장하기 위해 전용 GPU 메모리 슬래브를 확보한다. 단일 엔비디아(NVIDIA) RTX 4090 GPU에서 세 개의 후보 행동을 대상으로 테스트한 결과, 캐시된 벡터를 재사용함으로써 재방문 상태에 대한 지연 시간이 1.7밀리초에서 0.6밀리초로 단축되었다. 약 1,000개의 후보 행동을 포함하는 대규모 옵션 집합의 경우, 모델 카드에 따르면 제브 대비 최대 13배 빠른 추론 속도를 기록했다.

CLM-8B의 학습 파이프라인은 동결된 기본 인코더의 안정성을 저해하지 않으면서 랭킹 정확도를 개선하기 위해 3단계 순차 커리큘럼을 적용했다.

• 약 6,000만 개의 네모트론(Nemotron) DQA 질의응답 쌍으로 사전 학습을 진행하여, 10만 개 문제로 구성된 별도 테스트 세트에서 52.1%의 top-1 정확도 달성.
• 제미나이 2.5 플래시-라이트(Gemini 2.5 Flash-Lite)로 생성한 약 3,000만 개의 합성 고난도 음성(hard negative) 샘플을 활용한 미드 트레이닝을 통해 top-1 정확도를 69.2%로 향상.
• 에이전트 데이터 프로토콜(Agent Data Protocol), 엔드리스 터미널(Endless-Terminals), 라이트코더 터미널 SFT(LiteCoder-Terminal-SFT) 데이터셋에서 추출한 약 100만 개의 에이전트 궤적을 활용한 사후 학습 수행.

콘트라스티브-LM 연구진은 초기 사전 학습 단계부터 고난도 음성 샘플을 학습에 포함할 경우 정확도가 62.4%에서 조기 정점에 도달한 뒤 심각한 과적합이 발생했다고 밝혔으며, 이는 단계별 커리큘럼의 필수성을 입증하는 결과라고 설명했다.

제로샷 벤치마크 평가 및 검증자 모델 성능

제로샷 비교 평가에서 CLM-8B는 제브 대비 뚜렷한 처리량 우위를 나타냈다. 연속적인 환경 상태에 걸쳐 후보가 반복적으로 재등장하는 티렉스(T-Rex) 게임 테스트에서는 지연 시간이 9분의 1로 대폭 단축되는 성과를 기록했다. 보다 폭넓은 평가에서 CLM-8B는 티렉스 및 슈퍼 마리오(Super Mario) 환경에서 제브와 동등한 성능을 보였으나, 도구 호출 평가와 위키레이싱(WikiRacing) 과제에서는 제브에 뒤처졌다. 다만 평가된 모든 시나리오에서 일관되게 더 낮은 지연 시간으로 동작했다.

단순 반응형 게임 제어를 넘어 CLM-8B는 소프트웨어 엔지니어링 에이전트를 위한 검증자(verifier) 모델로서도 평가를 거쳤다. 이 워크플로에서는 생성형 언어 모델이 여러 후보 솔루션을 샘플링하면 검증자가 이를 채점하여 최적의 결과물을 선택한다. 오퍼스 5(Opus 5)가 생성한 best-of-4 후보 세트를 활용한 DeepSWE의 38개 미공개 과제에서 가볍게 미세 조정된 헤드를 장착한 CLM-8B는 81.6%의 성공률을 기록했다. 또한 페이블 5(Fable 5)의 best-of-5 후보를 사용한 터미널 벤치 2.1(Terminal-Bench 2.1)의 30개 미공개 과제에서는 87.6%의 정확도를 달성했다.

엔비디아 H100 시스템에서 진행된 벤치마크 측정 결과, CLM-8B는 검증 과정에서 제브보다 4.1배에서 5.7배 빠르게 작동했다. 연구팀은 제브가 두 검증 벤치마크 모두에서 pass@1 기준선 이하의 점수를 기록했다고 강조했는데, 이는 제브를 통한 선택이 무작위 단일 샘플 추출보다 저조한 결과를 냈음을 의미한다. 그러나 연구진은 이러한 검증자 결과가 제로샷 체크포인트 성능이나 공식 리더보드 제출 결과가 아니라 특정 미공개 하위 집합에 대해 미세 조정된 특수 헤드의 성능임을 분명히 밝혔다.

기술적 제약 사항과 기업 도입 가치

탁월한 운영 효율성에도 불구하고 CLM-8B는 몇 가지 기능적 제약이 존재한다. 프로젝션 헤드가 Qwen3-8B의 마지막 토큰 풀링 임베딩에 고정되어 있어 다른 기본 아키텍처와 함께 사용할 수 없다. 또한 이 모델은 새로운 응답을 직접 생성할 수 없으며 외부에서 제공된 후보 집합 간의 상대적 확률만을 계산한다. 콘트라스티브-LM은 더 폭넓은 일반화 능력을 10월 초 출시 예정인 멀티모달 모델 CLM-35B에서 탐색할 계획이라고 밝혔다.

자율 에이전트, 코딩 어시스턴트 또는 구조화된 라우팅 파이프라인을 구축하는 기업 개발 조직에게 CLM-8B는 느리고 비용이 많이 드는 생성형 LLM 호출을 대체할 수 있는 실질적인 대안을 제시한다. 전체 시스템은 Apache-2.0 라이선스로 제공되며, 프로젝션 헤드의 용량은 75MB에 불과해 단일 엔비디아 GPU 환경에서 vLLM과 함께 실행할 수 있다. 기업은 외부 API에 의존하지 않고 고처리량의 행동 순위 지정 및 도구 라우팅 시스템을 사내에 직접 구축함으로써 복잡한 다단계 워크플로의 지연 시간을 대폭 줄일 수 있다.