CLM-8B：開源系統一模型能高速評估代理動作

研究機構 Contrastive-LM 正式發表了 CLM-8B，為對比語言模型（Contrastive Language Models，簡稱 CLM）領域引入了一款開源模型。與逐字元生成文字的傳統自迴歸大型語言模型不同，CLM-8B 本身完全不產生文字內容。相反地，它會依據環境的當前狀態，對一組明確宣告的候選動作進行評估，並輸出這些選項的機率分佈。這項架構轉變專為自主代理循環中的決策與路由步驟所設計，能有效解決傳統生成過程所帶來的大量延遲問題。

CLM-8B 的主要對標基準為 Jev，後者是由 TypeSafe AI 開發並於 2026 年 9 月 15 日進入有限早期預覽階段的專有系統一模型。與 Jev 相似，CLM-8B 的設計目標是提供結構化的分類選擇，而非生成敘述性文字。為了確保能無縫整合，CLM 開源庫透過相容於 TypeSafe 的介面來提供服務。該設計支援三種特定的查詢格式：計算陳述真實機率的 Noul、從具備指定機率的明確列表中挑選單一候選項的 Choice，以及依據既定標準對輸入進行評分的 Score。

雙編碼器架構與代理循環中的向量快取技術

在架構層面上，CLM-8B 採用了由狀態編碼器與動作編碼器組成的雙編碼器設計。這兩個編碼器共享一個凍結權重的 Qwen3-8B 基礎主幹網絡，並搭配一個包含 2,000 萬個參數的可訓練投影頭。模型訓練採用雙向 InfoNCE 損失目標進行優化，該目標會拉近特定狀態的嵌入向量與實際執行動作的嵌入向量，同時推開未被選取的候選動作嵌入向量。在推論階段，系統透過計算候選動作嵌入向量與狀態嵌入向量的點積來進行排序，隨後利用 Softmax 函數確定整體的機率分佈。

這種將狀態與動作表徵分離的設計帶來了極高的運算優化空間。在實際的代理工作流程中，可用的動作集合往往保持靜態，而環境狀態則會在每個步驟中持續轉變。透過其專屬的服務組件 clm-serve，系統會保留一塊專屬的 GPU 記憶體區塊來快取預先計算好的動作向量，此架構設計借鑒了標準的鍵值快取（KV cache）機制。在單張 NVIDIA RTX 4090 GPU 上測試三個候選動作時，重複使用快取向量使重複狀態的推論延遲從 1.7 毫秒大幅降低至 0.6 毫秒。而在包含約 1,000 個候選動作的大型選項集中，模型說明文件指出其推論速度比 Jev 快了高達 13 倍。

CLM-8B 的訓練流程採用了三階段循序漸進的方案，旨在不破壞凍結基礎編碼器穩定性的前提下，持續精煉排序的精準度：

• 預訓練階段：使用約 6,000 萬個 Nemotron DQA 問答對進行訓練，在包含 100,000 個問題的保留測試集上達到了 52.1% 的 Top-1 準確率。
• 中程訓練階段：利用由 Gemini 2.5 Flash-Lite 生成的約 3,000 萬個合成困難負樣本進行訓練，將 Top-1 準確率提升至 69.2%。
• 後訓練階段：採用來自 Agent Data Protocol、Endless-Terminals 以及 LiteCoder-Terminal-SFT 資料集的約 100 萬條代理軌跡進行微調。

Contrastive-LM 的研究人員指出，若在初始預訓練階段就直接嘗試使用困難負樣本進行訓練，模型效能會在達到 62.4% 準確率時過早見頂並遭遇嚴重的過擬合問題，這充分證實了分階段訓練課程設計的必要性。

零樣本評估與驗證器性能表現

在零樣本對比評估中，CLM-8B 展現出顯著優於 Jev 的吞吐量優勢。在 T-Rex 遊戲測試中記錄到了延遲降低達九倍的標誌性數據，該環境的特性在於候選動作會在連續的環境狀態中反覆出現。在更廣泛的評估中，CLM-8B 在 T-Rex 與 Super Mario 環境中的表現與 Jev 相當，但在工具調用評估與 WikiRacing 任務中則略遜於 Jev，不過在所有受測場景中，CLM-8B 的執行延遲均維持在較低水準。

除了反應式遊戲控制之外，CLM-8B 還被評估作為軟體工程代理的驗證器模型。在此工作流程中，生成式語言模型會取樣多個候選解決方案，再由驗證器對選項進行排序以選出最佳結果。在 DeepSWE 的 38 項保留任務中，針對由 Opus 5 生成的 4 選 1 候選集，CLM-8B 輕量微調頭實現了 81.6% 的成功率。在 Terminal-Bench 2.1 的 30 項保留任務中，面對來自 Fable 5 的 5 選 1 候選集，該模型達到了 87.6% 的準確率。

在 NVIDIA H100 系統上進行的基準測試顯示，CLM-8B 在驗證任務中的運作速度比 Jev 快了 4.1 到 5.7 倍。研究團隊特別指出，Jev 在這兩個驗證測試集上的得分均低於 pass@1 基準線，意味著使用 Jev 進行篩選的結果甚至比隨機抽取單一樣本更差。然而，論文作者也明確澄清，這些驗證器數據反映的是針對保留子集微調的專用投影頭表現，而非零樣本檢查點性能或完整的排行榜提交成績。

技術限制與企業部署前景

儘管具備極高的運作效率，CLM-8B 仍存在特定的功能限制。其投影頭與 Qwen3-8B 最後標記池化（last-token-pooled）的嵌入向量緊密綁定，無法直接應用於其他基礎架構。此外，該模型無法生成全新的回應內容，僅能在外部提供的候選集合中計算相對機率。Contrastive-LM 表示，團隊將在預計於 10 月初發布的多模態 CLM-35B 模型中，進一步探索更廣泛的泛化能力。

對於正在構建自主代理、程式碼輔助工具或結構化路由管道的企業開發團隊而言，CLM-8B 提供了一個實用且能替代緩慢且昂貴的生成式 LLM 呼叫方案。整個系統基於 Apache-2.0 授權開源，投影頭體積僅 75 MB，可搭配 vLLM 在單張 NVIDIA GPU 上穩定運行。這使各類組織能夠在內部私有化託管高吞吐量的動作排序與工具路由服務，不僅徹底免除對外部 API 的依賴，還能在複雜的多步驟工作流程中大幅降低系統延遲。