Linkup تصدر SPARSEUP، نموذج بحث متفرق مفتوح المصدر بـ149 مليون معامل تحت رخصة Apache 2.0

تقديم SPARSEUP: نموذج استرجاع متفرق مفتوح المصدر

قامت Linkup Research بإتاحة SPARSEUP للجمهور بموجب ترخيص Apache 2.0، وتم رفع أوزان النموذج إلى منصة Hugging Face. يمثل هذا الإصدار خطوة ملحوظة نحو تطوير تقنيات الاسترجاع المتفرقة بشفافية ومشاركة المجتمع، حيث يمكن فحص شفرة المصدر والبارامترات وتعديلها وإعادة توزيعها دون قيود ترخيصية صارمة.

يبني هيكل SPARSEUP على أساس ModernBERT الذي يحتوي على 149 مليون بارامتر. على عكس المسترجعات الكثيفة التقليدية التي تُنتج متجهًا كثيفًا واحدًا لكل مستند، ينتج SPARSEUP متجهًا متفرّقًا يرتبط كل بعد فيه مباشرةً برمز في مفردات النموذج. وبالتالي، يحافظ التمثيل على تفسير لغوي واضح، حيث يشير كل إدخال غير صفري إلى وجود أو صلة رمز معين.

تتبع استراتيجية التهيئة عملية من مرحلتين. أولاً، يرث النموذج الأوزان من نقطة التفتيش LateOn‑unsupervised، وهي سابقة تتضمن بالفعل تدريبًا غير خاضع للإشراف على مجموعات بيانات ضخمة. ثانياً، يخضع SPARSEUP لتدريب متباين باستخدام مزيج بيانات LightOn المفتوح المصدر. خلال هذه المرحلة، يتم إقران كل استعلام بمستند إيجابي واحد وسبعة مستندات سلبية صعبة تُختار من مجموعة من خمسين مرشحًا، وهو تصميم يهدف إلى صقل قدرة النموذج التمييزية.

آليات التحكم في التفرّق

ثلاث آليات صريحة تنظم تفرّق المتجهات الناتجة. الآلية الأولى تضيف إزاحة ثابتة قدرها 15 إلى القيم اللوجستية قبل تطبيق softmax، مما يدفع العديد من درجات الرموز تحت عتبة التنشيط. الآلية الثانية تقيد عدد الأبعاد النشطة لكل موضع رمزي إلى اثني عشر، لضمان عدم مساهمة موضع واحد بعدد مفرط من الإدخالات غير الصفرية. الآلية الثالثة تدمج متغيرات الحالة والمسافات، حيث تُدمج الرموز التي تختلف فقط في الأحرف الكبيرة أو المسافات في بعد واحد. معًا، تشكّل هذه الضوابط تمثيلًا قابلًا للتفسير وفعّالًا من حيث الحساب.

يخضع حجم المفردات لتقليل كجزء من دمج الحالة والمسافات. بدءًا من مجموعة رموز تقريبية تبلغ 50 000 مدخل، ينتج عن عملية الدمج بعدية نهائية تبلغ حوالي 34 000. يؤثر هذا التخفيض مباشرةً على تكلفة تخزين وفهرسة المتجهات المتفرقة، مع الحفاظ على الفروقات المعجمية الأساسية المطلوبة للاسترجاع.

الأداء على المعايير القياسية

أفادت Linkup بأن معدل الخصم المتراكم المُعَدل عند المرتبة 10 (nDCG@10) وصل إلى 56.4 على مجموعة BEIR‑13، مستثنيًا الجزء المتعلق بـ MS MARCO. وفقًا للمؤلفين، يُعد هذا الرقم أفضل نتيجة معلنة علنًا لأي نموذج يقل عدد بارامتراته عن 150 مليون ضمن فئة هذا المعيار. تم تقديم المقياس كنتيجة مباشرة لبروتوكول التقييم المطبّق على استعلامات اختبار BEIR القياسية.

عند مقارنة SPARSEUP بنماذج الكثيفة وتفاعلات المتأخرة التي تشترك في أساس بيانات وحجم العمود الفقري مشابهين، تشير الدرجات المبلغ عنها إلى أن SPARSEUP لا يتجاوز الأساليب الكثيفة الرائدة. على وجه التحديد، يحقق تكوين DenseOn نتيجة nDCG@10 قدرها 57.9، بينما يصل تكوين LateOn إلى 58.9 على نفس المعيار. توضح هذه الأرقام، التي اقتبستها Linkup، فجوة أداء لا تزال قائمة رغم التصميم المركز على التفرّق.

تشير الفجوة إلى أنه، تحت ظروف تدريب مماثلة، قد تحتفظ التمثيلات الكثيفة بميزة في التقاط التشابه الدلالي الدقيق. ومع ذلك، يقدم النموذج المتفرّق مقايضات مميزة، مثل تقليل حجم الفهرس وربما تسريع الاسترجاع، مما قد يكون ذا قيمة في السيناريوهات التي تهيمن فيها قيود الموارد على خيارات التصميم.

السرعة والاستدعاء مع فهرس Seismic

قدمت Linkup بنية فهرسة تُدعى Seismic، مُحسّنة للمتجهات المتفرقة. باستخدام هذا الفهرس، تدّعي الشركة أن SPARSEUP يحقق استدعاءً يتجاوز 97 % مقارنةً بالبحث الدقيق على مجموعة بيانات MS MARCO، مع معالجة كل استعلام في حوالي 380 ميكروثانية. تُعرض هذه الأرقام كقياسات تجريبية تم الحصول عليها على مجموعة اختبار MS MARCO.

يشير المؤلفون صراحةً إلى أن أرقام الكمون والاستدعاء المبلغ عنها يجب أن يُعيد المستخدمون إنتاجها على بياناتهم الخاصة. يُقرّ هذا التنويه بأن الأداء الملحوظ قد يعتمد على عوامل مثل تكوين الأجهزة، وتوزيع الاستعلامات، وخصائص مجموعة البيانات، وبالتالي لا يمكن افتراض تعميمه دون تحقق.

• ترخيص Apache 2.0 يضمن إعادة توزيع مجانية
• العمود الفقري ModernBERT ب‍149 مليون بارامتر
• تدريب متباين مع سبعة سلبية صعبة من خمسين مرشحًا
• ثلاث ضوابط للتفرّق: إزاحة لوجستية، حد لكل موضع، دمج الحالة والمسافات

تلخّص القائمة أعلاه الخيارات التقنية الأساسية التي تميز SPARSEUP عن نماذج الاسترجاع الأخرى. كل عنصر يعكس قرار تصميم يؤثر مباشرةً على إما إمكانية الوصول القانونية، أو سعة النموذج، أو ديناميكيات التدريب، أو خصائص التفرّق للتمثيل النهائي.

من منظور منهجي، يفرض الاعتماد على عدد ثابت من السلبية الصعبة مستوىً مُتحكمًا من الصعوبة أثناء التعلم المتباين. ومع ذلك، نظرًا لأن السلبية تُستمد من مجموعة محدودة من خمسين مرشحًا، قد يكون تنوّع الأمثلة الصعبة مقيدًا، مما قد يحد من قدرة النموذج على التعميم على أزواج استعلام‑مستند غير مرئية.

آليات التفرّق، رغم فعاليتها في تقليل الأبعاد، تفرض أيضًا حدودًا صلبة قد تُهدر إشارات معلوماتية. إزاحة اللوجستية بمقدار 15، على سبيل المثال، تدفع العديد من درجات الرموز تحت مستوى التنشيط، مما قد يحسّن الكفاءة لكنه يحمل خطر قمع إشارات معجمية دقيقة ذات صلة ببعض الاستعلامات.

التقليل من حوالي 50 ألف إلى 34 ألف بعد عبر دمج الحالة والمسافات يبسط الفهرس لكنه أيضًا يدمج رموزًا قد تحمل وزنًا دلاليًا مميزًا في اللغات التي تفرق بين الأحرف الكبيرة والصغيرة. يُظهر هذا المقابل التوازن بين الضغط والوفاء اللغوي المتأصل في تصاميم الاسترجاع المتفرقة.

تظل أسئلة مفتوحة بشأن قابلية توسيع SPARSEUP إلى مفردات أكبر أو إعدادات متعددة اللغات. التكوين الحالي يعمل على مجموعة رموز أحادية اللغة؛ توسيع النهج سيتطلب إعادة تقييم ضوابط التفرّق لتجنب نمو أبعاد مفرط.

مجال آخر للبحث المستقبلي يتعلق بالتفاعل بين التمثيلات المتفرقة وخطوط أنابيب الاسترجاع الهجينة. من الممكن أن يجمع دمج متجهات SPARSEUP مع تمثيلات كثيفة جوانب تكاملية من الصلة، على الرغم من أن استراتيجية التكامل الدقيقة ستحتاج إلى تحقق تجريبي.

خلاصة القول، يقدّم SPARSEUP نموذج استرجاع متفرّق شفاف ومفتوح المصدر يحقق استدعاءً تنافسيًا وزمن استجابة منخفض تحت فهرس Seismic، مع تحقيق درجة معيارية تُعدّ محترمة لكن ليست رائدة ضمن فئة النماذج التي تقل بارامتراتها عن 150 مليون. تُبرز خيارات تصميم النموذج التوازن بين القابلية للتفسير، والكفاءة، وفعالية الاسترجاع، وتفتح عدة سبل لمزيد من البحث في استرجاع المعلومات المدفوع بالتفرّق.