Linkup 發布 SPARSEUP，開源稀疏檢索模型，參數 149M，採用 Apache 2.0 授權

介紹 SPARSEUP：一個開源稀疏檢索模型

Linkup Research 已在 Apache 2.0 授權下公開 SPARSEUP，模型權重也已上傳至 Hugging Face 平台。此發佈標誌著稀疏檢索技術向透明、社群驅動開發邁出重要一步，因為原始碼與參數皆可被檢視、修改與再分發，且不受限制性授權條款的約束。

SPARSEUP 的架構基於 ModernBERT 骨幹，包含 1.49 億參數。與傳統的密集檢索器每篇文件只產生一個密集向量不同，SPARSEUP 產生的是稀疏向量，向量的每一個維度直接對應模型詞彙表中的一個詞彙。因此，表示保留了明確的語言學解釋：每一個非零條目皆指示特定詞彙的出現或相關性。

初始化策略採取兩階段流程。首先，模型從 LateOn‑unsupervised checkpoint 繼承權重，該前身已在大規模語料庫上完成無監督預訓練。其次，SPARSEUP 以開源的 LightOn 資料混合進行對比微調。在此階段，每個查詢會與一個正向文件以及七個從五十個候選中挑選出的硬負樣本配對，這樣的設計旨在提升模型的辨別能力。

控制稀疏性的機制

有三項明確機制調節輸出向量的稀疏度。第一項機制在套用 softmax 前於 logits 加上固定偏移 15，實質上將許多詞彙分數壓低至激活閾值以下。第二項機制將每個位置的活躍維度上限設定為十二，確保單一位置不會貢獻過多非零條目。第三項機制合併大小寫與空白變形，將僅在大小寫或間距上不同的詞彙合併為同一維度。這些控制共同塑造出既可解釋又具計算效率的表示。

在大小寫與空白融合的過程中，詞彙表大小會被縮減。從約 5 萬個詞彙開始，合併後的最終維度約為 3.4 萬。此縮減直接影響稀疏向量的儲存與索引成本，同時保留檢索所需的關鍵詞彙差異。

標準基準測試的效能

Linkup 報告稱，在 BEIR‑13 資料集（不含 MS MARCO 子集）上，SPARSEUP 的正規化折扣累積增益（nDCG@10）為 56.4。作者指出，這是目前公開披露的、參數少於 1.5 億的模型在此基準類別中取得的最佳成績。此指標直接來自於對標準 BEIR 測試查詢套用評估流程的結果。

將 SPARSEUP 與共享相似資料基礎與骨幹大小的密集與後互動基線比較時，報告的分數顯示 SPARSEUP 未能超過領先的密集方法。具體而言，DenseOn 配置在相同基準上取得 57.9 的 nDCG@10，而 LateOn 配置則達到 58.9。這些數字由 Linkup 引用，說明即使採用稀疏設計，仍存在性能差距。

此差距暗示，在相同訓練條件下，密集表示可能在捕捉細緻語義相似度方面仍具優勢。然而，稀疏模型提供了不同的權衡，例如較小的索引尺寸與潛在更快的檢索速度，這在資源受限的情境下可能具有價值。

使用 Seismic 索引的速度與召回率

Linkup 推出名為 Seismic 的索引結構，專為稀疏向量優化。使用此索引，公司聲稱 SPARSEUP 在 MS MARCO 資料集上相對於精確搜尋的召回率超過 97%，且每次查詢的處理時間約為 380 微秒。這些數字被呈現為在 MS MARCO 測試集合上取得的實測結果。

作者明確指出，報告的延遲與召回率必須由最終使用者在自己的資料上重新驗證。此聲明承認觀測到的效能可能受硬體配置、查詢分布與資料集特性等因素影響，因而無法在未經驗證的情況下直接推廣。

• Apache 2.0 授權確保自由再分發
• ModernBERT 骨幹 1.49 億參數
• 以七個硬負樣本（來自五十個候選）進行對比訓練
• 三項稀疏控制：logit 偏移、位置上限、大小寫‑空白融合

上述清單概括了使 SPARSEUP 與其他檢索模型區別開來的核心技術選擇。每一項皆反映一項設計決策，直接影響模型的法律可取得性、容量、訓練動態或最終表示的稀疏特性。

從方法論的角度來看，固定數量的硬負樣本在對比學習期間引入受控的難度。然而，因為負樣本僅從五十個候選中抽取，其挑戰性範例的多樣性可能受限，進而限制模型對未見查詢‑文件配對的概化能力。

稀疏機制雖然有效降低維度，卻也設定了硬性閾值，可能會捨棄有資訊的信號。例如，15 的 logit 偏移會將許多詞彙分數壓低至激活門檻以下，這或許提升效率，但同時也有抑制某些查詢所需微妙詞彙線索的風險。

透過大小寫與空白融合將維度從約 5 萬縮減至 3.4 萬，雖然簡化了索引，但也合併了在大小寫敏感語言中可能承載不同語義重量的詞彙。此權衡說明了稀疏檢索設計中壓縮與語言忠實度之間的張力。

仍有未解之問關於 SPARSEUP 在更大詞彙表或多語言環境下的可擴展性。目前的配置僅在單語言詞彙集上運作；若要擴展至多語言，需要重新評估稀疏控制機制，以避免維度過度膨脹。

另一個未來研究方向是稀疏表示與混合檢索管線之間的互動。結合 SPARSEUP 向量與密集嵌入或許能捕捉相關性的互補面向，然而具體的整合策略仍須透過實驗驗證。

總結來說，SPARSEUP 提供了一個透明、開源的稀疏檢索模型，在 Seismic 索引下可達到具競爭力的召回率與低延遲，同時在基準測試中取得的分數在次 1.5 億參數範圍內屬於可觀但非領先。模型的設計選擇凸顯了解釋性、效率與檢索效能之間的平衡，亦為稀疏驅動資訊檢索的進一步研究開啟多條路徑。