OWASP Top 10 لتطبيقات LLM مشروحة بالعربية

قائمة OWASP لأخطر عشر ثغرات في تطبيقات النماذج اللغوية [1] أفضل نقطة انطلاق لتأمين نظامك — بشرط قراءتها كقائمة ضوابط هندسية لا كقائمة مخاوف.

البنود وترجمتها الهندسية

الأسماء الدقيقة والترتيب يُراجَعان دوريًّا في المصدر — ارجع إليه، وخذ من هذا الجدول الترجمة العملية.

ثلاثة بنود تُهمَل أكثر من غيرها

الصلاحية المفرطة (٨): أخطر ما رأيته في أنظمة الوكلاء. الوكيل يُمنح مفتاحًا واسعًا «للتجربة» ثم يُنسى. القاعدة: لو نجح حقن تعليمات الآن، ما أسوأ ما يستطيع فعله؟ إن كانت الإجابة مقلقة، فالصلاحية أوسع من اللازم.

معالجة المخرجات (٢): حقن التعليمات ينتهي كثيرًا بثغرة كلاسيكية — يُقنع النموذج بإخراج سكربت، فيُصيَّر في متصفّح المستخدم. عالِج مخرَج النموذج كما تعالج مدخلات المستخدم تمامًا.

الاعتماد المفرط (٩): ثغرة في التصميم لا في الكود. واجهة تعرض إجابة واثقة بلا مصدر ولا إشارة إلى الحدود تدفع المستخدم إلى ثقة غير مبرَّرة. الاستشهاد والامتناع ضابطان أمنيّان لا تحسين تجربة فقط.

متى تكفي طبقة خفيفة

نظام يقرأ مستندات داخلية موثوقة فقط، بلا أدوات كتابة، ومخرجاته تُعرض نصًّا لمستخدم واحد — يكفيه: تنقية المخرجات، وحدود معدّل، وتسجيل. المخاطرة تتضاعف مع كل عنصر يُضاف: محتوى خارجي، أو صلاحية كتابة، أو تعدّد مستخدمين على البيانات نفسها.

قائمة تحقق قبل الإطلاق

• كل أداة بصلاحية محدّدة، والافتراضي قراءة فقط.
• المحتوى الخارجي موسوم كغير موثوق داخل السياق.
• لا فعل غير قابل للتراجع بلا موافقة بشرية.
• مخرجات النموذج تُصيَّر كنصّ آمن.
• حدود معدّل وسقف تكلفة ومهلات.
• سجلّ كامل لكل استدعاء أداة.
• اختبار خصومي دوري بمجموعة حمولات.
• خطة استجابة: إيقاف الأداة وإبطال المفاتيح.

كيف تحوّل القائمة إلى مراجعة دورية

القائمة التي تُقرأ مرّة عند الإطلاق تفقد قيمتها في أول تغيير. اجعلها إجراءً متكرّرًا:

• راجعها عند كل تغيير في سطح الهجوم: أداة جديدة يستدعيها النموذج، أو مصدر بيانات جديد، أو صلاحية أوسع، أو مستخدمون من فئة جديدة. هذه الأربعة تغيّر المخاطر فعلًا؛ بقيّة التغييرات غالبًا لا.
• خصّص مالكًا لكل بند. البند الذي يملكه «الفريق» لا يملكه أحد. الاسم بجوار البند هو ما يجعل المراجعة تحدث.
• سجّل قرار القبول صراحةً. بعض المخاطر تُقبَل عن وعي — وهذا مشروع — لكن القبول غير المكتوب يتحوّل بعد ستّة أشهر إلى «لم ننتبه».
• اختبر خصمًا لا صديقًا. جرّب كسر حواجزك بصياغات ملتوية: تعليمات مدسوسة في مستند مسترجَع، وطلب يتنكّر في صورة سياق، ومحاولة استخراج نصّ التعليمات. الحاجز الذي لم يُختبر خصمًا لم يُختبر.

وقاعدة تختصر أكثر البنود: كل مخرَج من النموذج مُدخل غير موثوق، وكل مستند مسترجَع نصّ كتبه شخص آخر. من طبّق هاتين الجملتين حرفيًّا أغلق أكثر من نصف القائمة.

الأسئلة الشائعة

من أين أبدأ إن كان وقتي محدودًا؟

من البنود ١ و٢ و٨: حقن التعليمات، ومعالجة المخرجات، والصلاحية المفرطة. الثلاثة تغطّي أغلب ما يتحوّل إلى ضرر حقيقي.

هل تكفي بوابة حماية جاهزة؟

تفيد كطبقة، ولا تُغني عن التصميم. البوابات احتمالية وتُخترق؛ الصلاحيات والعزل ضوابط حتمية.

كيف أختبر نظامي مقابل هذه القائمة؟

حوّل كل بند إلى حالة اختبار: حمولة حقن في مستند، ومخرَج يحوي سكربتًا، ومحاولة استدعاء أداة كتابة بلا موافقة. شغّلها دوريًّا وسجّل معدّل النجاح كمقياس أمني.

المراجع

1. OWASP. Top 10 for Large Language Model Applications. owasp.org
2. Greshake, K. et al. Not What You've Signed Up For: Indirect Prompt Injection. arXiv:2302.12173
3. NIST. AI Risk Management Framework (AI RMF 1.0). nist.gov
4. Anthropic. Model Context Protocol — Security Best Practices. modelcontextprotocol.io