تقييم أنظمة RAG: من الانطباع إلى رقم تثق به

سؤال واحد يفصل الفريق الذي يتحسّن عن الفريق الذي يتأرجح: «هل تحسّن النظام بعد تغيير الأسبوع الماضي؟» الجواب المعتاد — «شعورنا أنه أفضل» — ليس هندسة، وهو أيضًا السبب في أن كثيرًا من الفرق تعدّل التوجيهات شهورًا بلا تقدّم قابل للإثبات.

ابدأ بالمجموعة الذهبية لا بالأداة

الترتيب الشائع خاطئ: يبدأ الفريق باختيار إطار تقييم. الصحيح أن تبدأ بمجموعة اختبار صغيرة وحقيقية.

كيف تُبنى في يوم:

1. اسحب ٥٠–١٠٠ سؤالًا من سجلّات المستخدمين الفعلية، لا من خيال الفريق.
2. حدّد يدويًّا لكل سؤال: المقطع الذي يحوي الجواب، وجوابًا مرجعيًّا مختصرًا.
3. صنّف الأسئلة: مباشرة · متعددة المصادر · غامضة · لا جواب لها في المستندات.
4. احفظها في المستودع، وعاملها كما تعامل الكود: مراجعة، وتاريخ، وتغييرات موثّقة.

الفئة الرابعة هي الأثمن. نظام لا يعرف أن يمتنع سيهلوس عند أول سؤال خارج نطاقه، ولن يكشف ذلك أي مقياس لا يحوي أسئلة بلا جواب.

طبقتان من المقاييس

الاسترجاع — تُحسب بلا نموذج وبلا تكلفة

هذه مقاييس استرجاع معلومات كلاسيكية عمرها عقود، وتُحسب بعشرين سطرًا. ابدأ بها دائمًا، فهي ترسم حدود ما يستطيع نظامك بلوغه أصلًا.

التوليد — تحتاج حَكَمًا

• الإخلاص (Faithfulness): هل كل جملة مدعومة بالمقاطع المسترجَعة؟ هذا مقياس الهلوسة الحقيقي.
• ملاءمة الجواب: هل أجاب عن السؤال المطروح لا عن سؤال مجاور؟
• ملاءمة السياق: كم من المقاطع استُخدم فعلًا؟

إطار RAGAS [1] يحسب هذه العائلة آليًّا بالاعتماد على نموذج حَكَم، ويفيد في تتبّع الاتجاه بين إصدارين. لكن لا تتعامل مع أرقامه كحقيقة قبل أن تتحقق منها بشريًّا على عيّنة.

حكم النموذج على النموذج: أين يصدق

ورقة MT-Bench [2] فحصت هذه الفكرة بجدّية، وخلصت إلى أن النماذج القوية بوصفها حكّامًا تتفق مع تفضيلات البشر بنسبة تتجاوز ٨٠٪ — وهي نسبة قريبة من اتفاق البشر فيما بينهم. وفي الوقت نفسه وثّقت الورقة انحيازات منهجية عليك أن تعاملها كقيود تصميم:

• انحياز الموضع: ميل إلى تفضيل الجواب الأول عند المقارنة — عالِجه بتبديل الترتيب وحساب المتوسط.
• انحياز الإطناب: الجواب الأطول يبدو أفضل — قيّد المعيار بالدقة لا بالشمول.
• انحياز الذات: ميل النموذج إلى أسلوبه — استخدم حَكَمًا من عائلة مختلفة عن نموذج التوليد.

والمعيار يُكتب صريحًا مع أمثلة، ولا يُترك للذوق:

قيّم إخلاص الجواب للمقاطع المرفقة على مقياس ١–٥.
٥ = كل جملة مدعومة نصًّا بالمقاطع.
٣ = الفكرة العامة مدعومة لكن فيها تفصيل غير وارد.
١ = معلومات جوهرية لا أثر لها في المقاطع.
أعد الحكم بصيغة JSON: {"score": n, "unsupported": ["الجملة…"]}
اعتمد على المقاطع وحدها، ولا تستعن بمعرفتك العامة.

القاعدة التي أعمل بها: تحقّق بشريًّا من ٢٠٪ من الأحكام في البداية. إن استقرّ الاتفاق عند حدّ تقبله، اعتمد الحَكَم للتشغيل اليومي وأبقِ عيّنة تدقيق دورية — الحَكَم أداة قياس، وأدوات القياس تُعاير.

اجعل التقييم بوابة لا تقريرًا

# خطوة في خط التكامل المستمر
- name: تقييم النظام على المجموعة الذهبية
  run: python eval/run.py --dataset eval/golden.jsonl --fail-under 0.82

أي تعديل على التوجيه أو نموذج التضمين أو استراتيجية التقطيع يمرّ من هنا. عندها تتحوّل الجملة الغامضة إلى جملة قابلة للمراجعة: «الاسترجاع ارتفع من ٠٫٧٩ إلى ٠٫٨٦ والإخلاص ثبت».

متى لا يكفي هذا كله

المقاييس الآلية تقيس ما عرّفته، لا ما لم يخطر لك. أضف:

• مراجعة بشرية دورية لعيّنة من محادثات الإنتاج الحقيقية.
• مؤشرات تشغيلية: نسبة «لا أعرف»، معدّل إعادة صياغة السؤال من المستخدم، الأسئلة بلا نتائج استرجاع.
• اختبارًا خصوميًّا: أسئلة مصمَّمة لاستدراج النظام خارج نطاقه.

الأخطاء الشائعة

1. قياس النظام كصندوق أسود واحد، فلا تعرف أي مرحلة انكسرت.
2. مجموعة ذهبية يكتبها الفريق لا المستخدمون — تقيس خيالكم لا واقعهم.
3. غياب أسئلة «لا جواب لها»، فيبدو النظام ممتازًا حتى أول سؤال خارج نطاقه.
4. الثقة العمياء في الحَكَم الآلي بلا معايرة بشرية.
5. تغيير عاملين معًا، فيضيع سبب الفرق.

الأسئلة الشائعة

كم سؤالًا تكفي؟

خمسون نقطة انطلاق تكشف الأنماط الكبيرة، ومئتان إلى ثلاثمئة تمنح حساسية للفروق الصغيرة. الأهم من العدد أن تكون الأسئلة حقيقية وموزّعة على فئات مختلفة بينها الأسئلة بلا جواب.

هل أحتاج إطارًا جاهزًا؟

ليس في البداية. مقاييس الاسترجاع تُكتب يدويًّا في جلسة واحدة. الأطر تفيد حين تحتاج مقاييس توليد جاهزة وتقارير موحّدة عبر الإصدارات.

كيف أقيس الهلوسة تحديدًا؟

قسّم الجواب إلى ادعاءات، وتحقّق من كل ادعاء مقابل المقاطع المسترجَعة، واحسب نسبة المدعوم. الادعاء غير المدعوم يُحسب هلوسة حتى لو صادف أنه صحيح في الواقع — لأن نظامك لم يستند إلى مصدر.

ما الفرق بين التقييم قبل الإطلاق والمراقبة بعده؟

التقييم يقيس على مجموعة ثابتة ويكشف الانحدار قبل النشر. المراقبة تقيس على حركة حقيقية متغيّرة وتكشف ما لم تتوقعه: أسئلة جديدة، ومستندات ناقصة، وأنماط فشل لم تدخل مجموعتك بعد. الاثنان ضروريان ولا يعوّض أحدهما الآخر.

المراجع

1. Es, S. et al. RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217
2. Zheng, L. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023. arXiv:2306.05685
3. Thakur, N. et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of IR Models. arXiv:2104.08663
4. Liu, N. et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172
5. Lewis, P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401