التكميم (Quantization): ما الذي تخسره فعلًا؟

سؤال يتكرّر عند الاستضافة الذاتية: «هل أشغّل نموذجًا أكبر مكمَّمًا أم أصغر بدقّة كاملة؟» والجواب يحتاج فهم ما يفعله التكميم بالضبط.

الفكرة في سطرين

أوزان النموذج أعداد تُخزَّن عادةً بـ١٦ بت. التكميم يخزّنها بدقّة أقلّ — ٨ أو ٤ بت — فتنكمش الذاكرة المطلوبة انكماشًا يقارب النسبة بين الدقّتين. النتيجة العملية: نموذج لم يكن يسع في عتادك صار يسع.

ما أثبتته QLoRA

قدّمت ورقة QLoRA [1] نتيجة غيّرت الممارسة: ضبط دقيق فوق نموذج أساس مكمَّم إلى ٤ بت — مع تدريب طبقات LoRA [2] الصغيرة فقط — أتاح ضبط نموذج بحجم ٦٥ مليار معامل على وحدة معالجة رسومية واحدة سعة ٤٨ غيغابايت، مع جودة قريبة من الضبط الكامل بدقّة ١٦ بت.

الدرس المستفاد ليس رقمًا يُحفَظ، بل أن التكميم لم يعد مقايضة خشنة: تقنياته الحديثة تحافظ على الجودة أفضل بكثير من الاقتطاع الساذج.

أين تظهر الخسارة عمليًّا

ليست موزّعة بالتساوي. من تجربتي ومن أنماط متكرّرة في التقارير:

• المهام المقيّدة بسياق (تلخيص مقطع، استخراج حقل، تصنيف نيّة): الأثر ضئيل غالبًا.
• الاستدلال متعدّد الخطوات والحساب: أكثر حساسية.
• اللغات الأقلّ تمثيلًا في التدريب — والعربية منها: قِس بنفسك ولا تعمّم من نتائج إنجليزية.
• المخرجات الطويلة: الأخطاء الصغيرة تتراكم عبر التوليد.

المقايضة الحقيقية

السؤال ليس «مكمَّم أم لا» بل: نموذج أكبر مكمَّم أم أصغر بدقّة كاملة؟ لا جواب عامًّا — الطريقة الوحيدة أن تشغّل الاثنين على مجموعتك الذهبية وتقارن ثلاثة أرقام: الجودة، والكمون، والذاكرة المشغولة.

متى لا يعنيك التكميم إطلاقًا

إن كنت تستعمل واجهة برمجية مُدارة. أنت تدفع مقابل الرموز لا مقابل الذاكرة، والمزوّد يقرّر تمثيله الداخلي. التكميم قرار من يشغّل النموذج بنفسه.

كيف تقيس الخسارة في نصف يوم

القياس هنا أرخص مما يبدو، ولا يحتاج بنية تقييم كاملة. الإجراء:

1. اجمع خمسين إلى مئة مثال من حركتك الحقيقية — لا من أمثلة توضيحية. إن لم يكن لديك حركة بعد، فمن الأسئلة التي تتوقّعها بصياغة مستخدميك لا بصياغتك أنت.
2. ثبّت كل شيء عدا الدقّة: النموذج نفسه، والمُوجّه نفسه، ودرجة الحرارة صفرًا، والبذرة نفسها إن كان محرّكك يدعمها. أي متغيّر ثانٍ يفسد المقارنة.
3. شغّل النسختين وسجّل ثلاثة أرقام لكل مثال: صحّة المخرَج (حكم بشري أو مطابقة آلية)، والكمون حتى آخر رمز، وذروة الذاكرة المشغولة.
4. قارن التوزيع لا المتوسّط. متوسّط متطابق قد يخفي عشرة أمثلة انهارت. انظر إلى أسوأ ١٠٪ تحديدًا — هي التي يراها مستخدمك ويشتكي منها.
5. حدّد عتبة القبول قبل أن ترى النتيجة. «أقبل انخفاضًا حتى ثلاث نقاط مقابل مضاعفة السَّعة» قرارٌ يُتّخذ قبل القياس؛ بعده يصير تبريرًا.

نصف يوم عمل يغنيك عن جدال لا ينتهي حول رقم منشور عن نموذج غير نموذجك ومهمّة غير مهمّتك.

الأخطاء الشائعة

1. اعتماد التكميم بناءً على معيار عام منشور بلا قياس محلّي.
2. توقّع خفض في فاتورة الواجهة البرمجية.
3. قياس الجودة وحدها بلا الكمون — بعض تقنيات التكميم تبطئ الاستدلال.
4. نسيان أن الذاكرة تشمل ذاكرة المفاتيح والقيم التي تنمو مع طول السياق، لا الأوزان وحدها.
5. تكميم نموذج مضبوط دقيقًا بلا إعادة تقييمه على مهمته.

الأسئلة الشائعة

٨ بت أم ٤ بت؟

ابدأ بـ٨ إن كان عتادك يحتمله: أقلّ خسارة وأبسط. انزل إلى ٤ حين يكون البديل نموذجًا أصغر بكثير — وحينها قارن الخيارين بالقياس لا بالانطباع.

هل يقلّل التكميم الدقّة على العربية أكثر؟

اللغات الأقلّ تمثيلًا في بيانات التدريب أكثر عرضة للتأثّر عمومًا، لكن المقدار يعتمد على النموذج والتقنية. هذا سبب كافٍ لجعل مجموعة اختبارك عربية لا مترجمة.

هل يمكن ضبط نموذج مكمَّم؟

نعم، وهذا بالضبط ما تقدّمه QLoRA: تجميد الأساس المكمَّم وتدريب طبقات صغيرة فوقه.

المراجع

1. Dettmers, T. et al. QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023. arXiv:2305.14314
2. Hu, E. et al. LoRA: Low-Rank Adaptation of Large Language Models. arXiv:2106.09685
3. Kwon, W. et al. PagedAttention (vLLM). arXiv:2309.06180
4. Hoffmann, J. et al. Training Compute-Optimal Large Language Models. arXiv:2203.15556