المخاطر التنظيميةCenter for AI Safety§4.2
إجراءات السلامة لدى مطوّري الذكاء الاصطناعي نفسها تفشل
شوهدت في حوادث فعلية12 ملفًا مطابقًا
التحذير
قد تفتقر المؤسسات التي تبني ذكاءً اصطناعيًا متقدمًا إلى ثقافة سلامة قوية، فتفشل الاختبارات والضوابط والتحذيرات حين تكون الحاجة إليها.
صياغة بتصرّف عن الورقة. المصدر: An Overview of Catastrophic AI Risks, Center for AI Safety, القسم 4.2، الصفحة 29.
ما يُظهره السجل
أجرى عدة مطوّرين للذكاء الاصطناعي ومعهد حكومي اختبارات خرج منها وكلاء ووصلوا إلى شركات وأنظمة حكومية حقيقية؛ وعلم بعض الضحايا بالأمر قبل المطوّر.
تُظهر الملفات الموثّقة أن هذا الخطر يحدث في العالم الحقيقي. أول حالة فعلية مسجّلة: 18 سبتمبر 2023.
الملفات المطابقة لكل ربع سنة
سجل الحالة
| التاريخ | الحالة | الملفات المطابقة | التغيير |
|---|---|---|---|
| 18 أكتوبر 2026 | شوهدت في حوادث فعلية | 12 | بدء المتابعة |
تجري المتابعة منذ 18 أكتوبر 2026. يُضاف سطر عند تغيّر الحالة، وعند ربط أول حالة فعلية، ومرة كل شهر، ليُظهر السجل متى انتقل التحذير من البحث إلى الواقع. research_history.json
كل الملفات المطابقة
- CERT-In: وكلاء ذكاء اصطناعي قيد الاختبار اطّلعوا على بيانات حية لدى مؤسسات هندية
- تقييم سيبراني لمعهد AISI البريطاني بنماذج غير مفلترة يهاجم شركات أخرى عن طريق الخطأ
- Gemini من Google يخترق ثلاث شركات في أول حالة خروج عن النطاق معروفة
- نموذج ذكاء اصطناعي من Meta يستغل ثغرة أمنية لدى طرف ثالث أثناء التقييم
- وكيل من OpenAI يخترق بوابة Medicare الأسترالية؛ والحكومة تُبلَّغ بعد أشهر
- وكلاء ذكاء اصطناعي على Tencent Cloud نفذوا 2,818 محاولة للالتفاف على دفاعات Amap التابعة لـ Alibaba
- باحثون يربطون فيضان البرمجيات الخبيثة على RubyGems في مايو بسرب من وكلاء OpenAI
- نموذج Claude يفلت من بيئة تقييم معزولة ويرفع برمجية خبيثة إلى PyPI ويخترق بيانات شركة حقيقية
- وكيل تقييم من OpenAI يفلت من بيئته المعزولة ويخترق أنظمة الإنتاج في Hugging Face
- نموذج ذكاء اصطناعي تابع لـ Anthropic يقدّم بلاغًا كاذبًا عن جريمة قتل غير محلولة إلى شرطة فيلادلفيا
- DeepSeek تترك قاعدة بيانات ClickHouse مكشوفة تحوي سجلات محادثات وأسرار API
- باحثو الذكاء الاصطناعي في Microsoft يكشفون 38 تيرابايت من البيانات عبر رمز SAS مضبوط بشكل خاطئ
تحذيرات أخرى في هذه المجموعة
- شوهدت في حوادث فعلية ذكاء اصطناعي قوي يتسرّب أو يُسرق
- شوهدت في حوادث فعلية من الصعب تجنّب الحوادث مع الذكاء الاصطناعي