مقارنة بين GPT والمصححين البشريين في تقييم المقالات: التباين والتحيّز وإمكانات التصحيح المعتمد على النماذج اللغوية الكبيرة
خلاصة الدراسة
تعالج هذه الدراسة تحدياً مزمناً في تقييم اللغة، هو ضمان اتساق وعدالة تصحيح المقالات حين تتباين صرامة المصححين وتحيّزهم تبعاً لخلفيتهم اللغوية. وتطرح سؤالاً محورياً عمّا إذا كان نظام التصحيح الآلي للمقالات (AES) القائم على GPT قادراً على مكمّلة المصححين البشريين في تقييم الكتابة باللغة الثانية (L2). ويقوم البحث على أن التصحيح اليدوي مُستهلك للوقت وعُرضة للتباين النابع من الخلفية اللغوية والثقافية للمصحح أو من تصوّراته الشخصية لجودة الكتابة، في حين تَعِد النماذج اللغوية الكبيرة باتساق وموضوعية، مع بقاء جدل حول قدرتها على التقاط الأحكام الدقيقة والسياقية للبشر، لا سيما في معايير ذاتية كتطوير المحتوى والتنظيم.
يستند الإطار المنهجي إلى نموذج قياس راش متعدد الأوجه (MFRM) الذي يقدّر في آنٍ واحد صرامة المصحح وتفاعلات التحيّز وأوجهاً أخرى كالمعايير، اعتماداً على النموذج القياسي الذي اقترحه إنغلهارد. وفي هذا النموذج تُعدّ صرامة المصحح وصعوبة المهمة وصعوبة المعيار متغيرات وسيطة. وقد صيغ نموذج راش رياضياً بوصفه دالة لوغاريتمية لاحتمال حصول تقدير معيّن قياساً باحتمال التقدير الأدنى منه، مع معاملات تمثّل قدرة الممتحَن وصعوبة المهمة وصعوبة المعيار وصرامة المصحح وصعوبة الفئة. وتُكمِّل النموذجَ مؤشرات مطابقة داخلية وخارجية (Infit وOutfit Mean Square) تراوح مداها المقبول عادة بين 0.6 و1.4، فضلاً عن قياس التحيّز عبر تفاعلات المصحح-المعيار وفق منهجية مكنمارا التي تعدّ قيم التحيّز بين −0.5 و0.5 وقيم «ت» بين −2.0 و2.0 مقبولة.
شمل البحث 20 مصححاً بشرياً ونظام تصحيح آلي واحداً قائماً على GPT، أي 21 مصححاً بالمجمل. وانقسم المصححون البشر إلى عشرة ناطقين بالإنجليزية بوصفها لغة أُم (NES) من المملكة المتحدة، وعشرة غير ناطقين بها لغة أُم (NNES) من تايوان، وجميعهم كانوا يدرسون لنيل الماجستير في تدريس الإنجليزية لغةً أجنبية (TEFL) في المملكة المتحدة ولديهم خبرة سابقة في التقييم اللغوي. وامتلك المصححون غير الناطقين كفاءة عالية في الإنجليزية بمستوى C1 على الأقل وفق الإطار الأوروبي المرجعي ودرجة آيلتس 8.0 فأعلى، مع خبرة صفّية أو اختبارية تتراوح بين سنة وثلاث سنوات. أما المصحح الآلي فكان نموذج GPT-4 في نسخته المتاحة في يوليو 2024. وأُسندت رموز تعريف: R1–R10 للناطقين، وR11–R20 لغير الناطقين، وGPT للنظام الآلي.
جُمعت 181 مقالة من ثلاث مجموعات متمايزة من متعلّمي الإنجليزية لغةً أجنبية في مستوى جامعي في تايوان، أدّت كل مجموعة مهمة كتابة مختلفة: تلخيص مقال «التصميم لمجتمع مُسنّ: منتجات وخدمات» لسيلفيا بيركو، وترجمة مقاطع صينية إلى الإنجليزية (81 مقالة مترجمة)، والاستجابة لسؤال حجاجي عن مبالغة الإعلانات في تحسين صورة المنتجات. وقُيّمت كل مقالة عبر أربعة معايير هي المحتوى والتنظيم والقواعد والمفردات، على مقياس من صفر إلى خمسة. وقيّم المصححون البشر والنظام الآلي 181 مقالة مجهولة الهوية باستخدام روبريك موحّد خلال ثلاثة أيام، إذ قيّمت كل مقالة نصاً مستقلاً دون تزويد المصححين بالنصوص المصدرية في مهمتَي التلخيص والترجمة.
خضع كل مصحح بشري لجلسة معايرة قبلية صحّح فيها 30 مقالة عيّنة مُوسمة مسبقاً مستخرجة من مجموعة قوامها 300 مقالة تمتد مستوياتها من A2 إلى C2؛ ولو انحرفت درجات مصحح بأكثر من مستوى كفاءة واحد لاستُبعد، وقد استوفى العشرون جميعاً معايير المعايرة. وخضع نظام GPT-4 بدوره لمعايرة موجزة على المقالات الثلاثين نفسها، وبقي ضمن المدى المقبول من المحاولة الأولى. وقد وُجّه GPT-4 عبر رسالة نظام ثابتة وتعليمات مواءمة للروبريك (بمعاملات temperature = 0، top_p = 1.0، max_tokens = 150، n = 1) لإرجاع درجات تحليلية للمعايير الأربعة دون تقديم تغذية راجعة، ومُرّرت المقالات في حلقة تكرارية وصُدّرت النتائج إلى ملف CSV دُمج مع نتائج البشر. وأُجري التحليل ببرنامج FACETS الإصدار 3.86.0.
أظهرت النتائج على مقياس اللوجيت تباين صرامة المصححين من −0.70 (المصحح 19، غير ناطق) إلى 4.40 (المصحح 10، ناطق). وأبدى معظم المصححين مطابقة مقبولة، فيما عانى بعض غير الناطقين ضعف مطابقة (مثل المصحح 18: infit = 2.05، outfit = 2.00)، بينما أظهر GPT مطابقة شبه مثالية (infit = 0.89، outfit = 0.93). وعلى مستوى المجموعات، كان الناطقون الأشدّ صرامة (متوسط 2.994)، يليهم غير الناطقين (2.264)، ثم GPT الأقل صرامة (1.820). وكانت الفجوة بين الناطقين وغير الناطقين دالة (Δ = 0.730؛ t = 26.823؛ p < 0.001)، وظهر GPT أقل صرامة من الناطقين بنحو 1.174 لوجيت ومن غير الناطقين بنحو 0.444 لوجيت. وفي المقارنة المجمّعة، بلغ متوسط جميع البشر 2.64 مقابل 1.82 لـ GPT بفارق دال (Δ = −0.82؛ t = −11.49).
كشفت المخططات أن GPT يضغط مدى الدرجات البشرية بميل عام نحو تصحيح أكثر صرامة قرب النهاية العليا من المدى، ما يعني درجات أكثر اتساقاً لكنها مضغوطة المدى ذات حساسية تمييزية أقل للمقالات الرفيعة أو المتدنية الجودة جداً. كما بيّنت مقارنة معاملات ICC أن إضافة GPT مصححاً حادياً وعشرين تركت ثبات البشر دون تغيّر يُذكر (البشر فقط: 0.38–0.56؛ البشر + GPT: 0.38–0.55)، مع اتفاق أقوى قليلاً مع الناطقين منه مع غير الناطقين، لا سيما في التنظيم. وأظهر التحليل الملحق أن القواعد كانت المعيار الأصعب، يليه التنظيم فالمفردات فالمحتوى.
وتصوغ الدراسة في ملاحظاتها الموجّهة للممارسين خلاصة مفادها أن نظام AES القائم على GPT يمكن أن يكون أداة قيّمة لضمان الاتساق في تقييمات الكتابة، لا سيما في السياقات التعليمية واسعة النطاق حيث يشكّل التباين البشري تحدياً، وأن الموقف الأكثر صرامة الذي يبديه GPT تجاه المحتوى يُبرز الحاجة إلى مزيد من الضبط الدقيق وهندسة التوجيهات لالتقاط الأحكام البشرية الدقيقة، وأن دمج نماذج هجينة تجمع نقاط قوة التصحيح البشري والآلي جدير بالاستكشاف لتحقيق تقييمات أكثر توازناً وشمولاً. وتُذكّر الدراسة بأن المصححين الناطقين يميلون عموماً إلى تقييمات أشدّ صرامة، بينما يُظهر غير الناطقين مدى صرامة أوسع، في حين يُبدي GPT نمطاً أكثر حياداً واستقراراً مع نزوع نحو تقييم أكثر تشدداً للمحتوى. ويشير الباحثون إلى أن الارتباطات العالمية المرتفعة لا تضمن العدالة لكل المجموعات الفرعية، إذ تُبيّن أدبيات أخرى انخفاض الاتفاق لبعض مجموعات اللغة الأولى واستمرار التفاوتات عبرها حتى بعد الضبط الدقيق، ما يُبرز الحاجة إلى تدقيق منهجي للتحيّز بحسب البُعد وخلفية المتعلم. كما يفسّرون ضعف المواءمة في القواعد باحتمال أن يُشغّل البشر وGPT مفهوم «القواعد» تشغيلاً مختلفاً؛ فالبشر قد يتغاضون عن الأخطاء الطفيفة عند قوة الطلاقة أو المحتوى، بينما قد يُولي GPT الأولوية للصحة السطحية ويُقلّل من وزن التنوّع النحوي.
تخلص الدراسة إلى أن أداء GPT التصحيحي متسق عبر المعايير ويقترب من مستويات ثبات شبه بشرية في ظروف روبريك تحليلية، لكن مواءمته مع البشر مشروطة بالبنية المُقاسة لا موحّدة؛ فهي أقوى في المفردات والتنظيم، وأكثر ثباتاً في المحتوى، وأضعف في القواعد التي قد يُشغّلها GPT والبشر تشغيلاً مختلفاً. وتفيد بأن GPT قد يخفّف بعض ذاتية البشر لكنه يفتقر أحياناً إلى الحساسية النقدية والثقافية العميقة، ما يستدعي مزيداً من الضبط وهندسة التوجيهات. ويقرّ الباحثون بمحدوديات تتصل بتصميم مهمة وروبريك محددين، واعتماد تكوين توجيه ثابت، وعدم فحص العدالة عبر مجموعات المتعلمين الفرعية، ومحدودية حجم عيّنة المصححين، وتقييم مواءمة الدرجات دون تفسير عمليات استدلال النموذج. ويوصون بأن يُوظَّف نظام AES القائم على GPT مكوّناً مُعايَراً ومُراقَباً ضمن أنظمة تقييم هجينة بين البشر والذكاء الاصطناعي، لا بديلاً قائماً بذاته عن الحكم البشري، شريطة تدقيق العدالة والشفافية التفسيرية.
الدراسة (PDF)
المصدر: Computers and Education Open، المجلد 10 (2026)، رقم المقال 100341، الناشر Elsevier، DOI: 10.1016/j.caeo.2026.100341.