توجيه النماذج: نموذج صغير لأسئلة سهلة

في أي نظام حقيقي، توزيع الأسئلة ليس متساويًا: أسئلة قصيرة مباشرة كثيرة، وأسئلة معقّدة قليلة. إرسال الجميع إلى النموذج الأكبر يعني أن تدفع سعر الحالة الأصعب في كل حالة.

الفكرة

مصنِّف خفيف — أو قواعد بسيطة — يقرّر: هذا السؤال إلى النموذج الصغير، وذاك إلى الكبير.

سؤال  →  تصنيف سريع  →  نموذج صغير (سهل)   →  جواب
                      →  نموذج كبير (معقّد) →  جواب

المكسب أن نسبة كبيرة من الحركة تُخدَم بجزء من التكلفة والكمون، والنموذج الكبير يبقى لما يستحقّه فعلًا.

ابدأ بقواعد لا بمصنِّف

قبل تدريب أي شيء، جرّب إشارات ترصدها في سطور:

هذه القواعد تعطي معظم المكسب بلا بنية تحتية إضافية. المصنِّف المدرَّب خطوة تالية تُبرَّر حين تُظهر السجلّات أن القواعد تخطئ كثيرًا.

القياس قبل الاعتماد

لا تنشر توجيهًا بلا هذا الجدول:

الصفّ الثاني مهمّ رغم أنك لن تعتمده: يخبرك كم يخسر الصغير فعلًا. أحيانًا يكون الفارق أصغر مما يتوقّع الفريق، وأحيانًا يكشف أن التوجيه لا يستحقّ لأن الصغير كافٍ وحده.

احتياطي التصعيد

اجعل المسار الصغير قابلًا للتصعيد: إن جاء جوابه بثقة منخفضة، أو خالف مخطط الإخراج، أو امتنع — أعد المحاولة على الكبير. هذا يحوّل التوجيه من مقامرة إلى مقايضة محسوبة: أسوأ حالاته استدعاءان بدل واحد لنسبة صغيرة من الطلبات.

متى لا يستحقّ التوجيه

• فاتورة صغيرة: أقلّ من كلفة يوم عمل مهندس — حسّن الجودة بدلها.
• حركة متجانسة: كل الأسئلة من الصعوبة نفسها، فلا شيء يُفرَز.
• مهمة حسّاسة بحتة: حيث كل خطأ مكلف، ابقَ على الأقوى.

ماذا ترصد بعد التشغيل

التوجيه نظام يتعفّن بهدوء: القواعد التي وُضعت لحركة الربع الماضي تصير خاطئة حين تتغيّر الأسئلة. أربعة أرقام تكفي لمتابعته:

• توزيع الحركة على المسارات. إن ذهب ٩٥٪ إلى النموذج الكبير، فأنت تدفع تعقيد التوجيه بلا مقابل. وإن ذهب ٩٥٪ إلى الصغير، فتحقّق أنك لا تخفض الجودة صامتًا.
• معدّل التصعيد: كم مرّة بدأ الطلب في مسار وانتهى في أعلى منه. ارتفاعه يعني أن قواعدك تُخطئ التصنيف مبكرًا، وأنك تدفع مرّتين للطلب الواحد.
• الجودة داخل كل مسار على حدة. المتوسّط الكلّي يخفي انهيار مسار كامل. قِس المسارات منفصلة وإلّا فلن ترى العطل حتى يشتكي مستخدم.
• التكلفة لكل طلب ناجح — لا لكل استدعاء. التوجيه الذي يوفّر في الاستدعاء ويضاعف التصعيد لا يوفّر شيئًا.

راجع القواعد كل ربع، أو عند كل تغيير في نموذج من نماذجك. والقاعدة التي لم توجّه شيئًا منذ شهرين تُحذَف: كل قاعدة باقية تكلفة قراءة على من يصون النظام بعدك.

الأخطاء الشائعة

1. اعتماد التوجيه بلا قياس الجودة على المسارين.
2. تصنيف بنموذج كبير — يلتهم التوفير الذي جئت تبحث عنه.
3. غياب مسار تصعيد عند فشل الصغير.
4. عدم تسجيل أي مسار خدم كل طلب، فيتعذّر التشخيص لاحقًا.
5. نسيان أن مسارين يعني توجيهين يُصانان ويُختبَران.

الأسئلة الشائعة

ما نسبة الحركة التي يمكن توجيهها للصغير؟

تختلف كليًّا بتوزيع أسئلتك. الطريقة: صنّف عيّنة من ٢٠٠ سؤال حقيقي يدويًّا إلى سهل/معقّد، فتظهر النسبة القابلة للتحويل قبل أن تكتب سطرًا.

هل أستعمل النموذج نفسه بأحجام مختلفة أم مزوّدين مختلفين؟

الأحجام من العائلة نفسها أسهل: سلوك متقارب وتوجيه واحد يعمل على الاثنين غالبًا. تعدّد المزوّدين يضيف مرونة تفاوضية ويضاعف عبء الصيانة والاختبار.

كيف أعرف أن التوجيه انحرف بعد شهور؟

راقب نسبة المسارين ومعدّل التصعيد وجودة عيّنة من كل مسار. ارتفاع التصعيد يعني أن القواعد لم تعد تصف حركتك — أعد ضبطها.

المراجع

1. Hoffmann, J. et al. Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556
2. Zheng, L. et al. Judging LLM-as-a-Judge with MT-Bench. arXiv:2306.05685
3. Kwon, W. et al. PagedAttention (vLLM). arXiv:2309.06180
4. Liu, N. et al. Lost in the Middle. arXiv:2307.03172