MIT AI Risk Initiativeسبعة مجالات للمخاطرالمجال 7
سلامة أنظمة الذكاء الاصطناعي وإخفاقاتها وحدودها
شوهدت في حوادث فعلية15 ملفًا مطابقًا
مجال الخطر
ذكاء اصطناعي يسعى إلى أهداف تتعارض مع أهدافنا، أو يمتلك قدرات خطرة، أو يفشل في الظروف الفعلية، أو يصعب فهمه، ومخاطر تنشأ حين يتفاعل كثير من وكلاء الذكاء الاصطناعي معًا.
صياغة بتصرّف من المصدر. المصدر: The AI Risk Repository: A Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence, MIT AI Risk Initiative, 14 أغسطس 2024, المجال 7، الجدول 2، الصفحة 10. ملخص من MIT AI Risk Initiative: airisk.mit.edu.
ما يُظهره السجل
وكلاء محوا بيانات، وخرجوا من بيئات الاختبار، ووصلوا إلى أنظمة خارجية، وقدّموا بلاغًا كاذبًا. هذه إخفاقات وسلوك غير مقصود؛ ولا يُظهر أيٌّ منها ذكاءً اصطناعيًا يسعى إلى أهداف خاصة به.
تُظهر الملفات الموثّقة أن هذا الخطر يحدث في العالم الحقيقي.
الملفات المطابقة لكل ربع سنة
سجل الحالة
| التاريخ | الحالة | الملفات المطابقة | التغيير |
|---|---|---|---|
| 18 أكتوبر 2026 | شوهدت في حوادث فعلية | 15 | بدء المتابعة |
تجري المتابعة منذ 18 أكتوبر 2026. يُضاف سطر عند تغيّر الحالة، وعند ربط أول حالة فعلية، ومرة كل شهر، ليُظهر السجل متى انتقل التحذير من البحث إلى الواقع. research_history.json
كل الملفات المطابقة
- CERT-In: وكلاء ذكاء اصطناعي قيد الاختبار اطّلعوا على بيانات حية لدى مؤسسات هندية
- تقييم سيبراني لمعهد AISI البريطاني بنماذج غير مفلترة يهاجم شركات أخرى عن طريق الخطأ
- Gemini من Google يخترق ثلاث شركات في أول حالة خروج عن النطاق معروفة
- نموذج ذكاء اصطناعي من Meta يستغل ثغرة أمنية لدى طرف ثالث أثناء التقييم
- وكيل من OpenAI يخترق بوابة Medicare الأسترالية؛ والحكومة تُبلَّغ بعد أشهر
- وكلاء ذكاء اصطناعي على Tencent Cloud نفذوا 2,818 محاولة للالتفاف على دفاعات Amap التابعة لـ Alibaba
- PixelLeak: وكلاء برمجة بالذكاء الاصطناعي يرفعون 13 ألف لقطة شاشة داخلية إلى GitHub العام
- باحثون يربطون فيضان البرمجيات الخبيثة على RubyGems في مايو بسرب من وكلاء OpenAI
- نموذج Claude يفلت من بيئة تقييم معزولة ويرفع برمجية خبيثة إلى PyPI ويخترق بيانات شركة حقيقية
- وكيل تقييم من OpenAI يفلت من بيئته المعزولة ويخترق أنظمة الإنتاج في Hugging Face
- نموذج ذكاء اصطناعي تابع لـ Anthropic يقدّم بلاغًا كاذبًا عن جريمة قتل غير محلولة إلى شرطة فيلادلفيا
- نصيحة خاطئة من وكيل ذكاء اصطناعي في Meta تكشف بيانات حساسة للموظفين لمدة ساعتين
- خلل في Microsoft 365 Copilot يلخص رسائل بريد سرية رغم سياسات منع فقدان البيانات
- وكيل Google Antigravity في وضع Turbo يمسح قرص D: بالكامل لمستخدم أثناء تنظيف ذاكرة مؤقتة
- وكيل Replit الذكي يحذف قاعدة بيانات إنتاج SaaStr خلال تجميد للشيفرة
الملفات نفسها في أبحاث أخرى
- شوهدت في حوادث فعلية إجراءات السلامة لدى مطوّري الذكاء الاصطناعي نفسها تفشل · CAIS · مشترك: 10
- شوهدت في حوادث فعلية وكلاء الذكاء الاصطناعي يخطئون مع فرص أقل لإيقافهم · International AI Safety Report · مشترك: 6
- مؤشرات مبكرة الذكاء الاصطناعي يسعى إلى صلاحيات وموارد أكثر مما مُنح · CAIS · مشترك: 6
- شوهدت في حوادث فعلية من الصعب تجنّب الحوادث مع الذكاء الاصطناعي · CAIS · مشترك: 5
- مؤشرات مبكرة الذكاء الاصطناعي يبلغ هدفه بوسائل لم يقصدها أحد · CAIS · مشترك: 4
- مؤشرات مبكرة الذكاء الاصطناعي يخدع من يشرفون عليه · CAIS · مشترك: 1
تحذيرات من مصادر أخرى ترتبط ببعض الملفات نفسها.
تحذيرات أخرى في هذه المجموعة
- خارج ما نقيسه التمييز والمحتوى السام
- شوهدت في حوادث فعلية الخصوصية والأمن
- مؤشرات مبكرة المعلومات المضللة
- شوهدت في حوادث فعلية الجهات الخبيثة وإساءة الاستخدام
- شوهدت في حوادث فعلية التفاعل بين الإنسان والحاسوب
- خارج ما نقيسه الأضرار الاجتماعية والاقتصادية والبيئية