تقليل أخطاء استدعاء الأدوات بنسبة 21٪ باستخدام التقطير الذاتي الموجه بالتلميحات في Perplexity

مقدمة

أعلنت شركة Perplexity عن إطلاق نهج تدريبي مبتكر يُعرف باسم التقطير الذاتي الموجه بالتلميحات، وهو مخصص للنموذج القائم على GLM‑5.2 الذي يدعم الوكيل الحاسوبي الخاص بها. يجمع هذا الأسلوب بين ضبط الدقة عبر عينة الرفض وتطبيق التقطير الذاتي داخل إطار السياسة، مما يمكّن النموذج من الاستفادة مباشرة من تفاعلات المستخدم الحقيقية مع تجنّب الأخطاء المرتبطة بالتحيّز اللاحق.

تقوم الفكرة الأساسية على تقسيم كل دور حواري إلى ثلاث فئات واضحة: الأدوار التي يُطلب من النموذج تقليدها، والأدوار التي تستدعي تصحيحًا باستخدام تلميح موثّق، والأدوار التي تُحتفظ بها كخلفية سياقية فقط. تُعَدّ الجلسات الناجحة مصادر قيّمة تُظهر أمثلة على كل من التقليد والتصحيح، بينما تُقدَّم الجلسات الفاشلة أيضًا كبيانات تصحيحية لضمان أن كل تفاعل يساهم في تحسين النموذج بطريقة ما.

كيف تعمل عملية المعلم‑الطالب

خلال مرحلة التدريب، يمر النموذج مرتين على نفس الجلسة. في مرور المعلم، يُظهر التلميح التصحيحي المستمد من نية المستخدم الأصلية وخطأ النظام للنموذج، بينما يُخفى التلميح في مرور الطالب. بعد ذلك يُطبَّق فقدان Kullback‑Leibler (KL) الأمامي لتقريب توزيع مخرجات الطالب إلى توزيع المعلم، ما ينقل المعرفة المشفّرة في التلميح دون أن يتعرض الطالب له مباشرة.

تستبعد Perplexity صراحةً أي جلسة تحتوي على معلومات تعريفية شخصية (PII) أو تتعلق بمستخدمين اختاروا عدم المشاركة في التدريب. يهدف هذا الإجراء إلى الالتزام بالقوانين المتعلقة بالخصوصية وتعزيز ثقة المستخدمين مع الاستمرار في جمع حجم كبير من بيانات الأخطاء الواقعية.

اختبار A/B مباشر يثبت الفعالية

أجرى فريق Perplexity اختبارًا من نوع A/B مباشر شمل نحو مائة ألف مستخدم لكل شرط مقارنةً نقطتي تفتيش للنموذج: إحداهما مدربة باستخدام خط أنابيب التقطير الذاتي الموجه بالتلميحات، والأخرى نموذج أساسي بدون هذا الخط. أسفر الاختبار عن انخفاض أخطاء استدعاء الأدوات—الحالات التي لا يستطيع فيها الوكيل استدعاء أداة خارجية بنجاح—من 2.24٪ إلى 1.77٪، ما يمثل تحسنًا نسبيًا قدره 21.2٪.

قاس الاختبار أيضًا مستوى الاستياء القوي المقدر، وهو مقياس للانزعاج الشديد للمستخدم. انتقل المؤشر من 2.58٪ إلى 2.54٪، وهو تغير غير ذي دلالة إحصائية، ما يدل على أن انخفاض أخطاء استدعاء الأدوات لم يُترجم إلى فرق ملحوظ في الاستياء العام ضمن حدود الثقة للاختبار.

القيود والأسئلة المفتوحة

لم تُصدر Perplexia أوزان النموذج بعد التدريب ولا شفرة التدريب، مما يحدّ من إمكانية التحقق الخارجي من النتائج. إلى جانب ذلك، يُقارن التحسين المبلغ عنه بين نقطتي تفتيش بدلاً من مقارنته بالنموذج الأصلي GLM‑5.2، ما يترك سؤالًا حول مدى مساهمة تقنية التقطير الجديدة مقارنةً بالضبط الناعم المتدرج.

اعتبار آخر هو الاعتماد على التلميحات الموثّقة التي تُفحص مقابل المعلومات المتاحة قبل حدوث الخطأ. بينما يقلل هذا من تحيّز اللاحق، فإنه يحدّ أيضًا من نطاق التلميحات إلى الحالات التي كان الجواب الصحيح معروفًا مسبقًا للنظام، ما قد يقيد قابلية تطبيق الطريقة على الاستفسارات الغامضة أو الجديدة.

• التقطير الذاتي الموجه بالتلميحات يجمع بين ضبط الدقة بعينة الرفض والتقطير داخل السياسة.
• ثلاث فئات من الأدوار: تقليد، تصحيح بتلميح موثّق، خلفية فقط.
• مرور المعلم يرى التلميح؛ مرور الطالب لا يرى؛ فقدان KL يطابق التوزيعات.
• يُستبعد أي جلسة تحتوي على PII أو اختار المستخدم عدم المشاركة قبل التدريب.

إن خفض أخطاء استدعاء الأدوات يُعَدّ أمرًا حيويًا لأن هذه الأخطاء غالبًا ما تُجبر المستخدمين على إعادة صياغة أسئلتهم أو التخلي عن المهام، مما يضعف الثقة في مساعدي الذكاء الاصطناعي. من خلال تقليل معدل الفشل، تقترب Perplexity من تجربة تفاعل سلسة حيث يصبح دمج الأدوات شفافًا وموثوقًا.

بالنسبة للمنظمات الناطقة بالعربية التي تعتمد على وكلاء الذكاء الاصطناعي لاسترجاع البيانات، جدولة الاجتماعات، أو تنفيذ شفرات برمجية، يظهر الأثر العملي واضحًا: تقليل الانقطاعات، خفض عبء الدعم، وزيادة الثقة بأن المساعد سينفّذ الإجراء المطلوب من المرة الأولى. رغم أن الدلالة الإحصائية لمقاييس الرضا العامة لا تزال غير مؤكدة، فإن الانخفاض الملحوظ في معدلات الأخطاء يوحي بفوائد تشغيلية فورية للفرق التي تستخدم وكيل Perplexity Computer في بيئات الإنتاج.

في القاهرة، حيث تتزايد الاعتماد على حلول الذكاء الاصطناعي في القطاعات الحكومية والخدمية، يُتوقع أن تسهم هذه التحسينات في تعزيز كفاءة الخدمات الرقمية وتخفيف العبء على مراكز الدعم، ما يعكس أهمية تطبيق التقنية في السياق المحلي.