مقارنة منهجية بين النماذج اللغوية الكبيرة في التقويم الآليّ للواجبات في تعليم البرمجة: استكشاف أهمّية البنية المعمارية والمزوِّد
خلاصة الدراسة
تعالج هذه الدراسة إشكالية متنامية في حقل تقاطع الذكاء الاصطناعي التوليدي مع التعليم، مفادها أنّ اعتماد النماذج اللغوية الكبيرة (LLMs) في التقويم الآليّ لواجبات البرمجة لم يعد اختيارًا محايدًا، بل قد يؤثّر تأثيرًا جوهريًا في نتائج الطلاب. ويقدّم البحث ما يصفه الباحث بأنّه أوّل مقارنة واسعة النطاق وجنبًا إلى جنب بين نماذج لغوية كبيرة معاصرة في مهمّة تصحيح واجبات البرمجة، معتمدًا على أكثر من ستّة آلاف عمل طلابيّ جُمعت على مدى أربع سنوات ضمن مقرّر تمهيديّ في البرمجة لطلبة العلوم المعرفية. ويهدف إلى الكشف عمّا إذا كانت النماذج المختلفة تصحّح بالطريقة نفسها أم أنّ لكلٍّ منها أنماطه الخاصّة، وإلى قياس مدى اتّساقها فيما بينها، ومدى إمكانية تجميعها في مجموعات متقاربة السلوك.
ويتأسّس الإطار النظري على أدبيّات تحيّز النماذج والتقويم الآليّ، إذ يشير الباحث إلى أنّ الأبحاث بين عامَي 2023 و2025 أظهرت أنّ النماذج اللغوية قد تبلغ دقّةً واتّساقًا مقارِبَين للمصحِّحين البشر في المهامّ القصيرة جيّدة البناء وذات المعايير الواضحة، لكنّها تعاني من مشكلات في المهامّ المفتوحة، ومن عدم قابلية التكرار، ومن الهلوسة، وتوليد تعليقات عامّة بدل التغذية الراجعة الدقيقة، ما يجعل الإشراف البشريّ والتعاون بين الإنسان والآلة ضرورةً لا غنى عنها. وعلى هذا الأساس صاغ الباحث ثلاثة أسئلة بحثية وسبع فرضيات (من H1 إلى H7) نُظّمت في مجموعتين: الأولى (H1 وH2 وH5) تتناول الفروق المنهجية في سلوك التصحيح، والثانية (H3 وH4 وH6 وH7) تستكشف العلاقات البنيوية بين النماذج من ارتباطات وتجمّعات وتشابه في نزعات التصحيح.
أمّا المنهجية فقد جُمعت فيها البيانات من اختبارات برمجية أُجريت في مقرّر تمهيديّ لطلبة العلوم المعرفية على مدى أربع سنوات، أكمل الطلبة خلالها تسعة اختبارات سنويًا تغطّي موضوعات متشابهة (الجُمل الشرطية، والحلقات، ووحدات الأرقام العشوائية والزمن، والقوائم والصفوف والقواميس، والسلاسل النصّية، والدوالّ، والعوْد، والبرمجة الكائنية، وواجهة المستخدم الرسومية). وقد جُمع نحو 6500 سجلّ مهمّة، ثم استُبعدت الأعمال الخالية من الإجابات ليبقى 6081 زوجًا كاملًا من السؤال والإجابة للتحليل. وتولّى معلّم واحد تصحيح كلّ موضوع في ظروف صفّية معتادة غير معمّاة. وقُورن أداء ثمانية عشر نموذجًا لغويًا كبيرًا من أربعة مزوِّدين رئيسين: Anthropic (claude-3-5-haiku وclaude-sonnet-4 وclaude-opus-4-1)، وDeepSeek (deepseek-chat وdeepseek-reasoner)، وGoogle (خمسة نماذج من عائلة Gemini)، وOpenAI (ثمانية نماذج من عائلات gpt-4.1 وgpt-4o وgpt-5)، شملت نسخًا خفيفة (mini وnano وlite) ونسخًا رائدة كاملة الحجم.
واعتمد الباحث في التصحيح استراتيجية التلقين بسلسلة التفكير (Chain-of-Thought)، إذ كُلِّف كلّ نموذج أوّلًا بأن يستنبط حلّه الخاصّ للمسألة ثم يقارنه بحلّ الطالب قبل إصدار الدرجة، مع قيدٍ صارم يقصر التقييم على المفاهيم التي دُرِّست حتى الوحدة المعنية فحسب. وصُنِّف عمل الطالب إلى: صحيح (درجة 1)، أو شبه صحيح (درجة 0.5)، أو غير صحيح (درجة 0). واستُخدمت جميع النماذج بمعاملات التوليد الافتراضية لواجهات برمجة التطبيقات في أغسطس 2025، دون تعديل يدويّ لدرجة الحرارة أو مرشِّحات الأمان، ضمن أنبوب آليّ موحّد نُفِّذ 6081 مرّة، مع إعادة إرسال الطلب عند فشل مطابقة مخطَّط JSON المطلوب.
وكشفت النتائج الوصفية عن اختلافٍ واضح بين النماذج في صرامتها واستخدامها للدرجة الوسطى. فنماذج مثل gpt-4o ونسخته المصغَّرة وclaude-haiku-3.5 أظهرت نسبةً مرتفعة نسبيًا من الدرجات القصوى (1.0) بما يعكس نمطًا متساهلًا، بينما هيمنت درجات الرسوب (0.0) على نماذج مثل deepseek-reasoner وgpt-4.1-nano بما يعكس نمطًا أكثر تشدّدًا، في حين استخدمت نماذج مثل claude-sonnet-4 وgemini-2.0-flash-lite الفئة الوسطى (0.5) على نحوٍ متوازن. وتراوح المتوسّط الحسابيّ للدرجات بين نحو 0.290 لنموذج gpt-4.1-nano و0.608 لنموذج claude-haiku-3.5. وأظهر تحليل ارتباط سبيرمان أنّ جميع النماذج مترابطة إيجابيًا بمعاملات تراوحت بين نحو 0.55 و0.89، مع أعلى الارتباطات داخل عائلات المزوِّد نفسه، بينما كشفت مصفوفة معامل كابا لكوهين صورةً أكثر تباينًا تراوحت قيمها بين المنخفضة جدًّا (نحو 0.20–0.30) والمتوسّطة–المرتفعة (نحو 0.60–0.74)، ما يدلّ على أنّ تشابه “أسلوب التصحيح” لا يعني بالضرورة اتّفاقًا نقطيًا على الدرجات نفسها.
وأكّد اختبار فريدمان وجود فروقٍ دالّة إحصائيًا بين النماذج (قيمة كاي تربيع بلغت 10630.24 عند درجة حرّية 17 وبمستوى دلالة أقلّ من 0.001)، وبيّن التحليل البعديّ (اختبار كونوفر مع تصحيحَي هولم وهولم–سيداك) أنّ نحو 95% من أزواج المقارنات (من أصل 153 زوجًا) أظهرت فروقًا دالّة، ولم تخلُ من الدلالة سوى سبعة أزواج فقط. أمّا تحليل التجميع بطريقتَي k-means والتجميع الهرميّ فقد أشار مؤشّر الظلّ (Silhouette) إلى أنّ العدد الأمثل للتجمّعات هو ستّة تجمّعات (بلغت قيمته العظمى نحو 0.5 عند k=6)، هي: عنقود gpt-5، وعنقود gpt-4، وعنقود Gemini، وعنقود DeepSeek، وعنقود Claude، وعنقود شاذّ يضمّ gpt-4.1-nano وclaude-haiku-3.5 لطبيعة نمطيهما غير المعتادة.
وعند مقارنة درجات النماذج بدرجات المعلّم البشريّ، تبيّن أنّ المعلّم حصل على أعلى متوسّط (0.726 بانحراف معياريّ 0.391) وأعلى وسيط (الدرجة 1 التي تكرّرت 3854 مرّة بنسبة 63.38%)، ولم يقترب أيّ نموذج من هذا المستوى، ما يشير إلى فارقٍ منهجيّ بين التقويم البشريّ والآليّ. وكان أعلى اتّساقٍ مع المعلّم من نصيب claude-haiku-3.5 بمعامل ارتباط داخل الصفّ (ICC) بلغ 0.470 (اتّفاق متوسّط)، وأدناه لنموذج gpt-4.1-nano (0.204، اتّفاق ضئيل)، مع بقاء جميع القيم دون عتبة 0.5، أي دون مستوى الاتّفاق “الجيّد”. وفي المقابل، حين اعتُمد إجماع النماذج مرجعًا بدل المعلّم ارتفعت قيم ICC إلى ما فوق 0.8 لمعظم النماذج (بلغ أعلاها 0.892 لنموذج gpt-4.1-mini)، لكنّ الباحث يحذّر من أنّ ذلك يعكس اتّساقًا داخليًا وتشابهًا في المخرجات لا صحّةً بالمقارنة بالمعيار البشريّ، وأنّ الاحتكام إلى إجماع النماذج ينطوي على مخاطر الاستدلال الدائريّ.
وقد أتاحت الفرضيات السبع قراءةً منظَّمة للنتائج؛ إذ أكّدت الدراسة الفرضيتين الأولى والثانية بإثباتها وجود فروقٍ دالّة في توزيع الدرجات (0 و0.5 و1) وفي المتوسّطات الحسابية والتشتّت، بما يعكس تفاوتًا في التشدّد والتساهل بين النماذج. كما أكّدت الفرضيات الثالثة والرابعة والسابعة عبر تحليلَي الارتباط والتجميع اللذَين كشفا عن أنماط تجمّعٍ قوية تتّسق مع عائلات المزوِّد الواحد، ما يوحي بأنّ نماذج المزوِّد نفسه تتقاسم مقارباتٍ خوارزمية متشابهة في التصحيح. وأكّدت كذلك الفرضيتين الخامسة والسادسة بإثباتها اختلاف الوسائط عبر النماذج الثمانية عشر جميعها، ووجود فروقٍ دالّة في أزواجٍ محدَّدة منها، وهو ما ينطوي على تبعاتٍ بيداغوجية جوهرية مؤدّاها أنّ اختيار نموذجٍ بعينه للتصحيح ليس قرارًا محايدًا. ولاحظت الدراسة وجود ثلاثة أنماط متمايزة: نماذج “متحرّرة” (كـ gpt-4o وclaude-haiku-3.5) تمنح الدرجات القصوى أكثر، ونماذج “مقيِّدة” (كـ deepseek-reasoner وgpt-4.1-nano) تكثر من درجات الرسوب، ونماذج “متوازنة” (كـ claude-sonnet-4 وgemini-2.0-flash-lite) تُبدي حساسيةً أكبر للصحّة الجزئية عبر الإكثار من الدرجة الوسطى.
وأدرجت الدراسة كذلك تحليلًا للكلفة استنادًا إلى أعداد الرموز (Tokens) المُدخَلة والمُخرَجة وأسعارها المعلنة لكلّ مليون رمز وقت التحليل، فتبيّن تفاوتٌ كبير في الكلفة بين النماذج، إذ بلغت كلفة إخراج نموذج claude-sonnet-4 نحو 328.66 دولارًا وكلفة إخراج gemini-2.5-pro نحو 245.20 دولارًا، في مقابل كلفٍ زهيدة للنماذج الخفيفة. وأوضحت أنّ الدراسة لا تتيح استدلالًا سببيًا على منشأ هذه الفروق، التي قد تعود إلى تباين تركيبة بيانات التدريب أو إجراءات الضبط الدقيق أو استراتيجيات التعلّم المعزَّز أو القيود المعمارية. كما نبّهت إلى أنّ محدودية الاتّفاق مع المعلّم قد تعكس فروقًا جوهرية في طريقة تقييم البشر والآلات للشيفرة البرمجية، إذ يراعي المعلّمون السياق ونيّة الطالب والفهم الجزئيّ للمفاهيم وعواملَ بيداغوجية لا تصل إليها النماذج مباشرةً، أو قد تعكس قيودًا في تصميم التلقين أو في تأويل النماذج لمعايير التصحيح.
وتخلص الدراسة إلى أنّ الفروق بين النماذج ليست محايدة تقنيًا بل تحمل تبعاتٍ بيداغوجية قد تؤثّر تأثيرًا كبيرًا في مصير الطلاب، وأنّ النماذج كاملة الحجم تتفوّق باطّراد على نظيراتها المصغَّرة (mini) والصغرى (nano)، وأنّ محدودية الاتّساق مع المعلّم البشريّ – حتى لدى أفضل النماذج – تجعل الإشراف البشريّ ومنهج “الإنسان في الحلقة” (human-in-the-loop) ضرورةً حاسمة. وتتمثّل أهمّية العمل في تقديمه أدلّة تجريبية محدَّثة على سلوك أحدث أجيال النماذج اللغوية (بما فيها GPT-5 وClaude Opus 4.1) في التقويم الآليّ، وفي دعوته إلى الاختيار الحصيف للنموذج، والإبلاغ الشفّاف عن مقاييس التقويم، بما يتجاوز أثره تعليم البرمجة إلى سائر الميادين التي قد يُستعان فيها بالتقويم الآليّ.
الدراسة (PDF)
المصدر: Computers and Education Open، المجلد 10 (2026)، رقم المقال 100364، الناشر Elsevier، DOI: 10.1016/j.caeo.2026.100364.