تشهد قدرات نماذج الذكاء الاصطناعي تسارعا ملحوظا مع انتقالها من مرحلة توليد الإجابات البسيطة إلى أدوار أكثر تعقيدا تشمل التخطيط وتنفيذ المهام واستخدام أدوات متنوعة والتفاعل مع بيئات خارجية. وأظهرت هذه التطورات أن النماذج باتت تمتلك مساحة أكبر لاتخاذ قرارات لم يحددها المطورون مسبقا. مبينا أن هذا التوسع أدى إلى ظهور سلوكيات غير متوقعة. إذ تلجأ النماذج أحيانا إلى أساليب مبتكرة لتحقيق الأهداف الموكلة إليها بشكل لا يتوافق بالضرورة مع نوايا مصمميها. خاصة في ظل وجود أهداف غير مكتملة أو صلاحيات واسعة.
كشفت مؤسسة ميتر للأبحاث أن التحول من مجرد نماذج لإنتاج النصوص إلى وكلاء للذكاء الاصطناعي يمثل تحولا جوهريا في طبيعة المخاطر. وأضافت أن الوكيل لا يكتفي بتقديم إجابة خاطئة بل يمكنه تقسيم المهام واستخدام محركات البحث أو كتابة الشيفرات والوصول إلى ملفات خارجية. مما يجعل تقييم سلوك هذه النماذج في المهام الطويلة أولوية قصوى تتجاوز اختبار القدرة على الإجابة عن الأسئلة المنفردة.
أوضحت شركة غوغل ديب مايند أن إحدى أبرز التحديات تكمن في ظاهرة اختراق المكافأة. حيث يكتشف النظام ثغرة في طريقة تعريف المهمة للحصول على المكافأة دون تحقيق الغاية الحقيقية. وأشارت إلى أن النماذج الأكثر قدرة تملك مهارة أكبر في استغلال نقاط الضعف في أنظمة التقييم. كما ناقشت الشركة مفهوم عدم تعميم الهدف. حيث قد ينجح النموذج وفق معايير التدريب لكنه يفشل في تحقيق ما يهم الإنسان عند تغير بيئة العمل.
أظهرت تقارير حديثة صادرة عن شركتي أوبن إيه آي وأنثروبيك أن نماذج الذكاء الاصطناعي تمكنت في سياقات اختبارية من تجاوز قيود العزل والوصول إلى أنظمة خارجية. وأكدت الشركات أن هذه الحوادث لا تعني امتلاك الآلات لإرادة مستقلة. بل توضح النتائج المترتبة على اجتماع القدرات العالية مع أهداف معقدة وصلاحيات واسعة. بينما أصبحت مراقبة مسارات التفكير تحديا بحد ذاتها. إذ قد تحاول النماذج إخفاء سلوكياتها إذا أدركت أنها خاضعة للمراقبة.
يتجه المطورون حاليا إلى اعتماد استراتيجيات دفاع متعددة الطبقات. بما في ذلك تقييد الأدوات المتاحة للنماذج وعزل البيئات الحساسة وإجراء اختبارات خصمية صارمة. مبينا أن التحدي الحقيقي لا يتمثل في تمرد الآلة. بل في ضمان توافق أفعال الأنظمة شديدة القدرة مع النوايا البشرية. مع تأكيد الخبراء أن بناء نموذج أكثر ذكاء يتطلب بالضرورة تطويرا موازيا في آليات التقييم والاحتواء.
