تزايدت التحديات المرتبطة بمراقبة سلوك وكلاء الذكاء الاصطناعي مع توسع الاعتماد عليها في مجالات البرمجة والأمن السيبراني وتنفيذ المهام المستقلة. وأوضح الخبراء أن الوكيل قد يصل إلى نتيجة تبدو صحيحة ظاهريا لكنه يتبع مسارات غير آمنة أو يتجاوز الهدف الأساسي للمهمة.
كشفت شركة غودفاير الامريكية المتخصصة في أبحاث قابلية تفسير نماذج الذكاء الاصطناعي عن تطوير أدوات متقدمة تراقب الإشارات الداخلية للنماذج. وأوضحت الشركة أن هذه الأدوات تهدف إلى اكتشاف السلوكيات غير المرغوبة خلال التنفيذ مع تقليل الاعتماد على أنظمة التقييم المكلفة.
بينت الشركة أن النظام يعتمد على تقنية مراقبات التنشيط التي تعمل كمصنفات صغيرة تدربت على رصد أنماط محددة في الإشارات الحسابية الداخلية. وأضافت أن هذه الطريقة لا تكتفي بقراءة المخرجات النهائية بل تحلل الإشارات التي تتولد أثناء المعالجة لاكتشاف محاولات التحايل أو إساءة استخدام القدرات السيبرانية.
أظهرت نتائج الاختبارات التي أجرتها غودفاير على نماذج مثل كيمي كي 3 وجي ال ام 5.2 وكوين 3.8 ماكس أن ظاهرة التحايل على المكافآت تظهر في نسب تتراوح بين 50% و96% من محاولات التنفيذ. وأوضحت الشركة أن الأداة تساهم في اكتشاف حالات كانت تخفق فيها أنظمة تحليل سلسلة التفكير.
أضافت غودفاير أنها تتبع نهجا ثنائي المرحلة حيث تتولى مراقبات التنشيط فحص الإشارات باستمرار ثم تحيل الحالات المشبوهة إلى نموذج تقييم أكثر قدرة. وأظهرت البيانات أن هذا النهج خفّض تكاليف التشغيل بنحو 50 مرة مقارنة بفحص كل خطوة على حدة.
كشفت الشركة كذلك عن تعاونها مع شركة باستين لإطلاق مشروع بيكون الذي يدمج أدوات المراقبة ضمن منصة متكاملة تتيح للمؤسسات ضبط استجاباتها للتنبيهات في الوقت الفعلي. ورغم هذه التقنيات أكدت غودفاير أن مراقبة الإشارات الداخلية تظل أداة للكشف عن مؤشرات الخطر وليست بديلا عن الاختبارات الشاملة أو التدخل البشري.
أظهرت الدراسات أن هذا التوجه يمثل تحولا جوهريا في التعامل مع سلامة الذكاء الاصطناعي. وأوضحت الشركة أن الهدف الأساسي هو الانتقال من مجرد مراقبة النتائج إلى متابعة مسار التنفيذ لضمان تحقيق الأهداف الأمنية والتقنية المطلوبة.
