مساعد Instinct AI يخطئ في النفقات عند ربطه ببطاقة الائتمان

Instinct هو المساعد الذكي الشخصي الذي تطوره شركة Spear Street Technology، ويجمع بين البريد الإلكتروني، والرسائل، وعرض الشاشة، والصوت، وبيانات الموقع، والأجهزة المتصلة في واجهة محادثة واحدة.

تُسوق الشركة المساعد على أنه قادر على استرجاع محادثات منسية، وإجراء مكالمات، وإرسال رسائل، وحتى حجز رحلات أو خدمات حرفيين نيابة عن المستخدم.

المختبرون يواجهون رسومًا غير متوقعة

وفقًا لتقرير T3N، المجموعة الأولى من المختبرين الذين سمحوا لـ Instinct باستخدام بطاقة ائتمان مرتبطة شهدوا عدة أخطاء مكلفة. لا يكشف التقرير عن المبلغ الدقيق، لكنه يؤكد أن الحوادث شملت طلبات ضمان تم توجيهها إلى قنوات خدمة العملاء.

الموقع الرسمي لـ Instinct لا يقدم مصفوفة أذونات مفصلة، ولا جدول حدود، ولا سجل حوادث عند التحقق، مما يترك المستخدمين دون إرشادات واضحة حول كيفية التحكم في الإنفاق.

أهمية الخطأ

توضح هذه الحالات فرقًا أساسيًا في الأمان: قد يفهم الذكاء الاصطناعي نية المستخدم – مثل "طلب مطالبة ضمان" – لكنه قد لا يمتلك تفويضًا صريحًا لإجراء معاملة مالية بالنيابة عن المستخدم.

في التطبيقات المهنية، تتطلب الممارسات المثلى أن تكون أي دفعة يبدأها الذكاء الاصطناعي خاضعة لحدود، وسجلات تدقيق، وموافقة بشرية إلزامية عند تجاوز عتبة محددة مسبقًا.

قضايا خصوصية إضافية

إلى جانب المخاطر المالية، يمنح Instinct وصولًا إلى البريد الإلكتروني، ومحتوى الشاشة، وتدفقات الصوت، وموقع المستخدم في الوقت الفعلي، مما يخلق تعرضًا للخصوصية. قد يحدث استخراج غير مصرح به للبيانات أو كشف غير مقصود حتى في حال عدم حدوث دفعة.

• تحديد حدود الإنفاق لكل معاملة
• تسجيل كل طلب دفع مع الطوابع الزمنية
• طلب موافقة بشرية متعددة العوامل فوق مبلغ معين
• تدقيق إجراءات الذكاء الاصطناعي ربع سنويًا

يوصي خبراء الأمان بهذه الضوابط لكنها غير موثقة في أي سياسة عامة لـ Instinct حتى آخر فحص.

حسابات الاختبار التي شملتها تحقيقات T3N ليست جزءًا من تقييم مستقل واسع النطاق، لذا لا يمكن quantifier معدل الأخطاء في هذه المرحلة.

مع ذلك، تُعد الحوادث المبلغ عنها إنذارًا مبكرًا بأن المساعدين الذكيين يحتاجون إلى حوكمة أكثر صرامة عندما تُمنحهم صلاحيات مالية.

إن الأخطاء التي سجلها المختبرون تكشف عن نقص واضح في آلية الفصل بين التعرف على نية المستخدم وتفعيل عملية الدفع الفعلية، وهو ما يستدعي توضيحًا دقيقًا للآليات التقنية التي تحكم هذا الفاصل. عندما يفسّر الذكاء الاصطناعي طلبًا مثل "طلب مطالبة ضمان" على أنه نية للاستعلام فقط، فإن النظام يجب أن يطلب صراحةً إشارة تفويض مالية من المستخدم قبل تحويل أي مبلغ من البطاقة المرتبطة. هذا التفريق يتطلب وجود طبقة وسيطة من البرمجة تُدعى "آلية التحقق من التفويض"، تُقارن النية المستخرجة من النص مع سياسات الدفع المسبقة، وتُعيد طلب موافقة صريحة إذا لم تتطابق مع أي من القواعد المسموح بها. غياب هذه الآلية أو ضعف تنفيذها يؤدي إلى أن يصبح المساعد قادرًا على إقحام المعاملات المالية دون إشراف بشري، ما يفسّر حدوث الإنفاق غير المتوقع ويؤكد ضرورة إعادة هندسة عملية التفويض لتشمل فحصًا متعدد المراحل قبل أي استدعاء للبطاقة الائتمانية.

من منظور الحدّ من المخاطر، يجب أن تُفرض حدود صارمة على حجم المعاملات التي يمكن للمساعد إجراؤها بشكل تلقائي، وهذه الحدود تُعرّف إما بمبلغ ثابت أو بنسبة مئوية من الحد الائتماني المتاح. إضافةً إلى ذلك، ينبغي أن يُسجَّل كل طلب دفع مع طابع زمني موثّق، ويُخزن في سجل لا يمكن تعديله أو حذفه دون إشارة واضحة من نظام تدقيق مستقل. مثل هذا السجل يُسهم في تمكين عمليات التدقيق اللاحقة، ويُوفر دليلًا يُستند إليه في حال حدوث نزاع أو مراجعة داخلية. بدون هذه الضمانات، يبقى المستخدم في موقف غير متوازن حيث لا يستطيع تتبع أو مراجعة الأنشطة المالية التي قام بها الذكاء الاصطناعي بالنيابة عنه.

التحقق من صحة عمليات الدفع يتطلب دمج خطوات موافقة بشرية متعددة العوامل، خصوصًا عندما يتجاوز المبلغ الحد الروتيني المحدد مسبقًا. يمكن تنفيذ ذلك عبر طلب تأكيد من خلال تطبيق موثوق، أو عبر إرسال رمز تحقق إلى جهاز المستخدم، أو حتى عبر طلب توقيع رقمي في الحالات ذات الحساسية العالية. هذه الإجراءات لا تُضيف فقط طبقة أمان إضافية، بل تُعيد للمتعامل السيطرة على قرارات الإنفاق، وتقلل من احتمالية حدوث أخطاء مشابهة في المستقبل. من الناحية العملية، يجب أن تُبرمج الواجهات لتُظهر للمستخدم بوضوح ما إذا كان الطلب يتطلب موافقة إضافية، وتُتيح له رفض أو تعديل العملية قبل إتمامها.

تدقيق إجراءات الذكاء الاصطناعي بصورة ربع سنوية يُعدّ من الممارسات المثلى لضمان استمرار توافق النظام مع سياسات الأمان والخصوصية المقررة. خلال هذا التدقيق، يُفحص سجل المعاملات، وتُقارن الأنماط الفعلية مع القواعد المحددة مسبقًا، وتُحدَّد أي انحرافات أو استثناءات قد تشير إلى خلل في آلية التفويض أو في سياسات الحدّ. بالإضافة إلى ذلك، يُستعرض تكامل النظام مع مصادر البيانات الحساسة مثل البريد الإلكتروني وموقع المستخدم، لتقييم ما إذا كانت هناك عمليات استخراج أو مشاركة غير مصرح بها قد تم تفعيلها بشكل غير مقصود.

من الناحية التنظيمية، تُظهر الحوادث المبلغ عنها أن هناك فجوة في الحوكمة التقنية عند منح المساعدين الذكيين صلاحيات مالية. هذا يتطلب من الجهات التنظيمية وضع إرشادات واضحة حول ما يُسمح به من عمليات دفع تلقائية، وتحديد متطلبات التوثيق والشفافية التي يجب أن تتوفر في أي نظام يُعطي حق الوصول إلى بطاقات الائتمان. كذلك، يُستحسن أن تُفرض معايير تدقيق مستقلة تُجرى من قبل جهات خارجية، لضمان عدم وجود تعارض مصالح داخل الشركة المطورة، وبالتالي تعزيز الثقة لدى المستخدمين والمؤسسات على حد سواء.

في الختام، الرسالة العملية للمنظمات الناطقة بالعربية هي أن تبني إطارًا شاملًا للحوكمة الرقمية قبل اعتماد أي مساعد ذكي يُمنح صلاحيات مالية. هذا الإطار يجب أن يشتمل على سياسات حدّ الإنفاق، سجلات تدقيق غير قابلة للتعديل، آليات موافقة بشرية متعددة العوامل، وتدقيق ربع سنوي للعمليات. فقط من خلال تطبيق هذه الضمانات يمكن تحويل الفوائد الوظيفية للمساعد من مجرد راحة إلى أداة موثوقة تدعم الأداء المؤسسي دون تعريضه لمخاطر مالية أو تنظيمية غير متوقعة.

للمنظمات الناطقة بالعربية، الرسالة العملية واضحة: قبل نشر Instinct أو وكلاء مشابهين، يجب على فرق تقنية المعلومات والمالية فرض حدود دفع صريحة، والحفاظ على سجلات لا يمكن تعديلها، وإدماج خطوة موافقة بشرية في أي معاملة تتجاوز الحد الروتيني. بدون هذه الضمانات، قد يتحول الراحة التي يوفرها المساعد إلى خسائر مالية غير متوقعة وتعريض تنظيمي.