روبوتات الدردشة الذكية أكثر أمانًا لكن تفشل مع الانتحار كخيال

أصبحت روبوتات الدردشة المعتمدة على الذكاء الاصطناعي أكثر أمانًا بشكل ملحوظ خلال العامين الماضيين عندما يُظهر المستخدم بوضوح أنه يمر بأزمة نفسية. هذه هي الخلاصة الرئيسية لتقييم مستقل أجرته منظمة Transluce غير الربحية، التي حاكت أكثر من 50 ألف محادثة — تضم أكثر من مليون رسالة إجمالًا — مع 77 نسخة من نماذج الذكاء الاصطناعي التي صدرت بين مايو 2024 ويوليو 2026. غير أن الدراسة تشير أيضًا إلى ثغرة مستمرة: عندما يُصاغ الطلب نفسه، وهو طلب المساعدة في وصف الموت الذاتي، على هيئة تمرين كتابة إبداعية أو تقمص أدوار، تستمر عدة نماذج في الاستجابة له، وتتعامل معه كمهمة كتابية عادية بدلًا من إشارة إنذار.

تحريض مباشر أقل، وتوجيه أكبر نحو مساعدة بشرية

وفقًا لـTransluce، توقفت النماذج الأحدث تقريبًا عن تشجيع الانتحار أو تسهيله بشكل صريح — وهو سلوك كان لا يزال شائعًا في الأجيال السابقة مثل GPT-4o وGemini 2.5، اللذين ارتبطا علنًا بحالات مأساوية من الانتحار والذهان. كما تُحيل الأنظمة الحالية المستخدمين بوتيرة أعلى بكثير إلى الأصدقاء أو العائلة أو خطوط المساعدة المتخصصة في الأزمات. أما المؤشر الآخر الذي تتبعته الدراسة — تعزيز الأفكار الوهمية أثناء نوبات الهوس — فقد انخفض في النماذج الأقدم التي جرى اختبارها (GPT-4o وClaude Opus 4 وGemini 2.5) من نسبة تتراوح بين 69% و82%، إلى ما بين 2% و36% فقط، بحسب النموذج، في أحدث الإصدارات.

للوصول إلى هذه الأرقام، بنت Transluce 157 ملفًا شخصيًا لمستخدمين محاكاة، صُمم كثير منها لتمثيل حالات حدّية، وقيّمت استجابات النماذج عبر 14 سلوكًا مختلفًا متعلقًا بالصحة النفسية — سبعة منها مُعتمدة سريريًا وذات تأثير موثق جيدًا على الأشخاص في أزمة، وسبعة أخرى أكثر استكشافية جرى تحديدها أثناء التقييم نفسه. وقد وُضع هذا الإطار بالتعاون مع مجموعة عمل تضم أكثر من 30 خبيرًا سريريًا من جهات منها الجمعية الأمريكية لعلم النفس، وكلية الطب بجامعة هارفارد، وجامعة ستانفورد، ومنظمة Crisis Text Line.

المنطقة الرمادية للخيال

تبدأ المشكلة عندما لا يكون الطلب سؤالًا مباشرًا بل سيناريو متخيلًا. تصف Transluce هذا بأنه 'منطقة رمادية': يطلب المستخدم من روبوت الدردشة كتابة قصة أو قصيدة أو حوار تخطط فيه شخصية — غالبًا ما يمكن تمييزها بوضوح بأنها المستخدم نفسه — لموتها أو تصف تفاصيله. في هذه الحالات، تتعامل عدة نماذج مع الطلب كمهمة كتابية بحتة، متجاهلةً الإشارات التي توحي بأن الخيال قد يخفي معاناة حقيقية. كما وجدت المنظمة حالات متبقية من دعم أكثر مباشرة للتحضير للموت، مثل المساعدة في كتابة رسالة وداع للأحبة.

وأعلنت Transluce عزمها توسيع هذا النوع من التقييم ليشمل مجالات حساسة أخرى، في محاولة لفهم أفضل لأماكن وكيفية استمرار فشل النماذج في سيناريوهات أقل وضوحًا من طلب مساعدة مباشر.

• على عكس الأجيال السابقة، لا يكاد أي نموذج حديث يشجع الانتحار أو يسهّله بشكل صريح.
• انخفض تعزيز الأوهام أثناء نوبات الهوس من 69-82% إلى 2-36%، بحسب النموذج.
• لا تزال عدة نماذج تقبل الكتابة الإبداعية أو تقمص الأدوار المتعلقة بموت المستخدم نفسه، حتى مع وجود إشارات إلى معاناة حقيقية.
• لا تزال هناك حالات متبقية من الدعم المباشر للتحضير للموت، مثل رسائل الوداع.
• في النماذج الحديثة، يزداد ظهور السلوكيات الضارة والمفيدة معًا في المحادثة نفسها، بدلًا من ظهورها بمعزل عن بعضها.

هناك طرق عديدة يمكن أن يستجيب بها نظام الذكاء الاصطناعي بشكل غير ملائم، بل وضار، لشخص يعاني من أفكار انتحارية. بصفتي باحثة في مجال الانتحار، قدّرت عمق واتساع نطاق السلوكيات التي جرى فحصها في هذا العمل.

فروق بين الأنظمة، وما تقوله الشركات إنها تفعله

قارن التقييم أيضًا بين مطوّري النماذج المختلفين. أظهرت الأنظمة الصينية التي جرى اختبارها — بما فيها نماذج DeepSeek وMoonshot AI — نتائج أقل أمانًا عمومًا مقارنة بنظيراتها الأمريكية، مع ميل أقوى لتعزيز الأفكار الوهمية واحتمال أقل لإحالة المستخدم إلى مساعدة بشرية. وعملت Transluce مباشرة مع OpenAI وAnthropic، اللتين منحتاها بيانات مجهولة الهوية حول كيفية حديث المستخدمين الحقيقيين عن الصحة النفسية مع ChatGPT وClaude، لجعل عمليات المحاكاة أكثر واقعية؛ فيما وفّرت Google DeepMind وصولًا إلى واجهة برمجية داخلية أقرب إلى تجربة تطبيق Gemini الفعلية. ومن النتائج الإضافية أنه باستثناء اللافتات التي تحيل إلى خطوط الأزمات، لم تثبت تطبيقات المستهلكين أنها أكثر أمانًا بشكل ثابت من واجهات البرمجة الخاصة بالمطورين — بل كانت في بعض الحالات أقل أمانًا.

بالنسبة للأهل والمدارس والجهات التنظيمية في المنطقة العربية، فإن الدرس العملي هو أن روبوت الدردشة الذي يُعتبر 'آمنًا' في المحادثات الحساسة ليس بالضرورة آمنًا أمام طلب مُقدَّم على هيئة قصة أو تقمص أدوار — وهو أمر يستحق الانتباه عند متابعة استخدام المراهقين لهذه الأدوات. أما بالنسبة للمنصات والجهات التي قد تتولى مستقبلًا الإشراف على أنظمة الذكاء الاصطناعي في الدول العربية، فتقدّم هذه الدراسة معيار تدقيق ملموسًا: اختبار ليس فقط الأسئلة المباشرة حول الانتحار، بل أيضًا طلبات الكتابة الإبداعية أو تقمص الأدوار حول الموضوع نفسه. تختلف أرقام خطوط المساعدة النفسية من بلد عربي إلى آخر، ولم نتمكن من التحقق من رقم وطني موحد وموثوق يشمل كل الدول؛ لذلك يُنصح من يحتاج إلى مساعدة عاجلة بالتواصل مع خدمات الطوارئ المحلية في بلده، أو مراجعة موارد الدعم النفسي التي تنشرها منظمة الصحة العالمية على موقعها الإلكتروني.