الذكاء الاصطناعي يقترب من الخبراء في قراءة أبحاث السرطان، لكن اكتشاف عيوب الدراسات يظل الأصعب

مع النمو السريع للأدبيات الطبية، لم يعد الوقت المتاح للقراءة وحده هو المورد النادر، بل أيضًا الاهتمام المهني اللازم للحكم على ما إذا كانت الأدلة تدعم الاستنتاجات. وتُظهر دراسة خضعت لمراجعة الأقران ونُشرت بالتزامن على arXiv أن أداء النماذج اللغوية الكبيرة قد يقترب جزئيًا من خبراء المجال في التقييم النقدي شديد التنظيم لأدبيات السرطان؛ لكن ما إن تتعمق المهمة في تصميم الدراسة والتناقضات الداخلية حتى تظهر نقاط ضعف الآلة بوضوح أكبر.

استخدمت الدراسة مسألة ما إذا كان «فيروس شبيه بفيروس ورم الثدي لدى الفئران» (MMTV-like virus) مرتبطًا بسرطان الثدي بوصفها حالةً للدراسة، واختارت 24 ورقة بحثية، وصممت 77 بندًا لاستخراج الأدلة والتقييم النقدي، شملت أسئلة اختيار من متعدد، ومقاييس تقييم، وأسئلة متعددة الإجابات، وإجابات نصية حرة. وشملت النماذج التي خضعت للاختبار Gemini 2.5 Pro وGemini 2.5 Flash وGPT-5 وGPT-5 Nano، ثم قارن فريق البحث درجة اتساق الإجابات بين الخبراء بعضهم مع بعض، وبين الخبراء والنماذج.

أظهرت النتائج أن توزيعات درجات الاتساق التي حققها GPT-5 وGPT-5 Nano لم يكن من الممكن تمييزها إحصائيًا عن التوزيع بين الخبراء. ولا يعني ذلك أن النموذجين كانا مكافئين للخبراء في كل سؤال، ولا يجوز تفسيره على أنه امتلاكهما القدرة على إصدار أحكام مستقلة بشأن الأدلة الطبية؛ بل يعني أنه ضمن إطار التقييم هذا، المحدد الموضوع والمنظم مسبقًا، وقعت الأنماط العامة لإجابات النموذجين داخل النطاق الذي شكلته الاختلافات بين الخبراء.

وأظهرت النماذج أيضًا تحيزات مختلفة. كان نموذجا Gemini أكثر تساهلًا عند تطبيق معايير التسبب الميكروبي في السرطان، ما قد يجعل الروابط التي تفتقر إلى أدلة كافية تتجاوز العتبة بسهولة أكبر. وكان المحتوى المختلق نادرًا عمومًا، لكنه حدث بوتيرة أعلى في النماذج الأصغر؛ وحتى إذا بدا الاتساق الإجمالي مثاليًا، فإن عددًا قليلًا من الأخطاء، إذا وقع في دراسات محورية أو معايير أساسية، قد يحرّف اتجاه المراجعة المنهجية.

تركزت الصعوبات الأكثر استمرارًا في تقييم المنهجية والتعرف على العبارات المتعارضة داخل النص الكامل للورقة نفسها. ويتطلب هذان العملان فهم تصميم التجربة، ومدى ملاءمة الضوابط، وما إذا كانت الاستنتاجات تتجاوز حدود الأدلة، إلى جانب ربط المعلومات الموزعة بين أقسام المنهجية والنتائج والمناقشة؛ وهي تحديدًا الجوانب التي يصعب أكثر من غيرها اختزالها إلى استخراج بيانات في مراجعة الأدلة الطبية الحيوية.

تدعم هذه الدراسة استخدام النماذج اللغوية الكبيرة في الفرز الأولي، أو استخراج الحقول، أو بوصفها مقيّمًا ثانيًا، للمساعدة في التعامل مع حجم الأدبيات الذي يصعب على الموارد البشرية تتبعه بالكامل؛ لكنها لم تثبت بعد أن النماذج قادرة على استبدال الخبراء. فقد اقتصر الاختبار على مسألة واحدة تتعلق بالميكروبات والسرطان وعلى 24 ورقة بحثية، كما لم يجب عما إذا كانت النماذج تستطيع الحفاظ على أدائها في أمراض أخرى، أو في أدبيات متفاوتة الجودة، أو ضمن إجراءات مراجعة واقعية تُحدَّث باستمرار. وطرح الباحثون إمكانية اتباع استراتيجية متعددة النماذج، لكن قبل استخدامها في اتخاذ القرارات الطبية الحيوية، لا تزال هناك حاجة إلى تحقق خارجي أوسع نطاقًا، وتتبع الأخطاء، وآليات للمراجعة البشرية.