الصحة الرقمية · global
غيّر صيغة السؤال فيتغير تحديد مرحلة السرطان: دراسة تكشف عدم استقرار الاستدلال لدى الذكاء الاصطناعي الطبي
خضعت ثلاثة نماذج لغوية لاختبارات بحالات سريرية، وأظهرت أن مجرد اختلاف تنسيق الموجّه قد يؤدي إلى تغير كبير في دقة تحديد المرحلة. وتعمقت الدراسة أيضًا في البنية الداخلية للنماذج، لتجد أن أسلوب تحسين أحدها قد لا يصلح لآخر.
عندما يساعد الذكاء الاصطناعي في تحديد مرحلة السرطان، يُفترض أن تتغير إجاباته تبعًا للأدلة السريرية. لكن دراسة جديدة وجدت أن مجرد تغيير تنسيق السؤال قد يؤدي إلى تقلبات كبيرة في دقة تحديد المرحلة؛ وعند التعامل مع حالات تفتقر إلى معلومات كافية، تعطي النماذج أحيانًا مرحلة محددة رغم ذلك. وبالنسبة إلى المؤسسات التي تستعد لإدخال الذكاء الاصطناعي الطبي، يعني هذا أن جودة الإجابات أثناء الاختبار لا تكفي لإثبات استقرارها في الاستخدام اليومي.
نُشرت الدراسة في 31 أكتوبر في مجلة «npj Digital Medicine»، وشملت GPT-5 وMedGemma-27B-Text-IT وOpenBioLLM-Llama3-70B. وبحسب ملخص المجلة، أنشأ الفريق 3,035 اختبارًا بتغييرات منهجية انطلاقًا من سجلات أورام بصيغة SOAP تحقق منها أطباء، وحالات موجزة، وحالات من MIMIC، لفحص مدى اتساق الاستدلال السريري لدى النماذج عند تغير المدخلات. ويمثل هذا العدد صيغًا اختبارية مختلفة، ولا يجوز اعتباره عدد المرضى.
أفادت الدراسة بأن تغيير تنسيق الموجّه وحده أدى إلى تغيرات تجاوزت 50% في دقة تحديد المرحلة. لكن الملخص لم يوضح قيم الدقة قبل التغيير وبعده في كل مقارنة، ولم يبيّن ما إذا كان هذا المقدار يشير إلى فرق بالنقاط المئوية؛ لذا لا يصح تفسيره مباشرة على أنه انخفاض بأكثر من 50 نقطة مئوية لدى جميع النماذج. وكانت هناك إشارة تحذيرية أخرى أكثر مباشرة: قد تنتج النماذج إجابات قاطعة حتى عندما لا تكفي البيانات السريرية لدعم الحكم.
واستخدم الفريق أيضًا «المُرمِّزات التلقائية المتناثرة» لمحاولة تفكيك كيفية تمثيل المعلومات داخل النماذج. ودُرّبت أداة التحليل هذه باستخدام 50 ألف سجل سريري من MIMIC-IV، بإجمالي مليار وحدة ترميز؛ ووحدات الترميز هي الوحدات الأساسية التي يستخدمها النموذج لمعالجة النصوص. واستُخدمت هذه البيانات لتدريب أداة التحليل، وهو غرض يختلف عن اختبارات تغيير الحالات المذكورة أعلاه.
أظهر التحليل بنية هرمية في التمثيلات الداخلية لدى MedGemma: إذ تميل السمات ذات الشدة الأعلى إلى ترميز هوية الكلمات، بينما تحمل السمات ذات الشدة الأقل المعنى السياقي؛ أما المعلومات لدى OpenBioLLM فكان توزيعها أكثر تجانسًا. ووجدت الدراسة أيضًا أن هذه الاختلافات تؤثر في فاعلية تدخلات الاسترجاع والاستدلال، ما يشير إلى أن أسلوب تحسين ينجح مع بنية معينة قد يضر بالأداء عند نقله إلى بنية أخرى.
حُدّثت نسخة أولية سابقة من هذا العمل في فبراير، وذكر ملخصها 355 اختبارًا بتغييرات في حالات أورام؛ أما نسخة المجلة فأفادت بإجراء 3,035 اختبارًا، وأدرجت أشكالًا أكثر للحالات. ويدعم الإصداران استنتاجات أساسية متقاربة، لكن لا يجوز الخلط بين حجمي الاختبارات فيهما. والنسخة التي تتيحها المجلة حاليًا هي نسخة منشورة مبكرًا اجتازت مراجعة الأقران، ولا تزال تنتظر مزيدًا من التحرير، كما أن الملخص لا يكفي لتحديد الظروف التي يكون فيها كل نموذج أكثر عرضة للخطأ.
ولذلك يدعو الباحثون إلى التحقق من سلامة النماذج اللغوية الطبية وفق بنية كل منها قبل نشرها للاستخدام. واستنادًا إلى هذه النتائج، ينبغي ألا تقتصر اختبارات القبول على الدقة الإجمالية، بل أن تفحص أيضًا الاستقرار مع اختلاف تنسيقات السجلات الطبية، ونقص المعلومات، والتدابير المساعدة. لكن هذه الدراسة تعرض مهام قائمة على حالات وتحليلات للبنية الداخلية للنماذج، ولا يمكن الاستناد إليها لقياس مخاطر الضرر في الممارسة السريرية الفعلية؛ وتظل كيفية إدراج هذه الاختبارات ضمن مشتريات المستشفيات والمتطلبات التنظيمية سؤالًا يجب الإجابة عنه قبل التطبيق.