تسريب البيانات عبر مخرجات النموذج

حين يُذكر تسريب البيانات في أنظمة الذكاء الاصطناعي، يقفز الذهن إلى نموذج «يتذكّر» بيانات تدريبه. أما في التطبيقات التي نبنيها، فالمسارات الفعلية أقرب وأبسط — وكلها تحت سيطرتك.

خمسة مسارات

١) تجاوز الصلاحيات في الاسترجاع

الأخطر والأكثر شيوعًا. الفهرس يضمّ مستندات كل الأقسام، والمستخدم يسأل سؤالًا عامًّا، فيصله مقطع من مستند سرّي لأن التشابه الدلالي لا يعرف شيئًا عن الصلاحيات.

الضابط: رشّح قبل البحث لا بعده. خزّن مع كل مقطع حقول صلاحية، واجعل استعلام البحث نفسه مقيّدًا بها. الترشيح بعد الاسترجاع يبدو كافيًا وليس كذلك: النتائج المحذوفة تُستهلك من k، وقد تظهر آثارها في الدرجات وفي سلوك النظام.

٢) السياق المشترك بين المستخدمين

تخزين مؤقت أو ذاكرة محادثة تُبنى بمفتاح غير مرتبط بالمستخدم، فيتسرّب سياق مستخدم إلى آخر.

الضابط: كل مفاتيح الذاكرة والتخزين المؤقت مرتبطة بمعرّف مستخدم أو مستأجر. راجع هذا في كل طبقة تخزين مؤقت — بما فيها ما يقدّمه إطار العمل تلقائيًّا.

٣) السجلّات

تسجيل الطلب والاستجابة كاملين يعني نسخة ثانية من كل ما مرّ بالنظام، غالبًا بحماية أضعف ومدّة احتفاظ أطول.

الضابط: سجّل المعرّفات والمقاييس لا المحتوى الكامل، أو نقِّ الحقول الحسّاسة قبل الكتابة. وحدّد مدّة احتفاظ صريحة وطبّقها آليًّا.

٤) ما يُرسَل إلى المزوّد

كل ما يدخل السياق يغادر شبكتك. تمرير مستند كامل «للاحتياط» يعني إرسال ما لم يكن ضروريًّا أصلًا.

الضابط: أدخل الأقلّ الكافي (وهذا مكسب مزدوج مع التكلفة)، ونقِّ المعرّفات الشخصية حين لا تلزم الإجابة، واعرف سياسة الاحتفاظ لدى مزوّدك.

٥) المخرجات إلى وجهات خارجية

وكيل يملك أداة إرسال أو نشر قد يُستدرَج بحقن تعليمات [1] إلى إخراج بيانات نحو وجهة يسيطر عليها المهاجم.

الضابط: قائمة وجهات مسموحة، وموافقة بشرية على كل إرسال خارجي، ومراقبة أنماط شاذّة في وسائط الأدوات.

أين تبدأ إن كان وقتك ساعة

1. تحقّق من ترشيح الصلاحيات قبل البحث.
2. تحقّق من أن مفاتيح الذاكرة والتخزين المؤقت مرتبطة بالمستخدم.
3. افتح سجلّاتك واقرأ آخر عشرة أسطر: هل فيها ما لا يجوز أن يبقى؟

هذه الثلاث تغطّي أغلب ما يتحوّل إلى حادثة حقيقية.

متى تكون المخاطرة منخفضة

مستخدم واحد، ومستندات عامة، وبلا أدوات خارجية — سطح التسريب ضيّق. وتتضاعف المخاطرة مع كل عنصر: تعدّد المستأجرين، أو بيانات شخصية، أو أدوات ترسل خارج الجلسة.

كيف تكتشف التسريب قبل أن يكتشفه غيرك

المنع وحده لا يكفي؛ تحتاج كشفًا يعمل بعد أن تخطئ. ثلاث آليات رخيصة:

• فتّش سجلّاتك بحثًا عن أنماط بعينها — أرقام هويات، وبطاقات، وعناوين بريد، وأرقام هواتف — على جدول دوري لا عند الاشتباه فقط. أي تطابق يعني أن التعقيم فشل عند مدخل ما، وأن السجلّ نفسه صار بيانات حسّاسة تحتاج حماية بأثر رجعي.
• ازرع سجلًّا وهميًّا في بيانات الاختبار: عميل باسم لا وجود له وبيانات لا تخصّ أحدًا. إن ظهر هذا الاسم في مخرَج لمستخدم لا يملك صلاحيته، فقد كشفت تسريب صلاحيات بلا أن يتضرّر إنسان حقيقي.
• اختبر عزل المستأجرين صراحةً. اسأل بحساب المستأجر «أ» سؤالًا لا يمكن الإجابة عنه إلّا من بيانات المستأجر «ب». هذا الاختبار يجب أن يعمل آليًّا في كل إصدار، لا مرّة واحدة عند التصميم.

وثيقة صغيرة تستحقّ الكتابة قبل الحاجة إليها: ماذا نفعل في أول ساعة إن حدث تسريب؟ من يُبلَّغ، وأي مفتاح يُبطَل، وأي سجلّ يُجمَّد. كتابتها وقت الهدوء أرخص بكثير من ارتجالها وقت الأزمة.

الأخطاء الشائعة

1. الترشيح بعد الاسترجاع بدل قبله.
2. فهرس واحد لكل المستأجرين بلا فصل ولا حقول صلاحية.
3. تسجيل الطلبات كاملة بلا تنقية ولا مدّة احتفاظ.
4. حشو مستندات كاملة في السياق «احتياطًا».
5. أدوات إرسال بلا قائمة وجهات مسموحة.

الأسئلة الشائعة

هل يتذكّر النموذج ما أرسلته إليه؟

النموذج نفسه لا يتعلّم من استدعاءاتك ما لم يُدرَّب عليها. لكن البنية حول النموذج تحتفظ: سجلّات، وتخزين مؤقت، وذاكرة محادثة. هناك تقع المسؤولية، وهناك يقع التسريب عادةً.

كيف أعزل بيانات المستأجرين؟

فهرس منفصل لكل مستأجر إن كانت الحساسية عالية، أو فهرس واحد بحقل مستأجر إلزامي في كل استعلام. الأول أأمن، والثاني أسهل تشغيلًا — والاختيار بحسب المخاطرة لا الراحة.

هل تنقية المعرّفات الشخصية كافية؟

تقلّل الأثر ولا تلغيه: نصّ منقّى قد يبقى معرِّفًا بالسياق. اعتبرها طبقة ضمن ضوابط الصلاحيات والاحتفاظ، لا بديلًا عنها.

المراجع

1. Greshake, K. et al. Not What You've Signed Up For: Indirect Prompt Injection. arXiv:2302.12173
2. OWASP. Top 10 for Large Language Model Applications. owasp.org
3. NIST. AI Risk Management Framework (AI RMF 1.0). nist.gov
4. الاتحاد الأوروبي. Regulation (EU) 2024/1689. eur-lex.europa.eu