من تخطيط القلب إلى السجل الطبي في عملية استدلال واحدة: QoQ-Med3 يختبر الذكاء الاصطناعي الطبي متعدد الوسائط

نادرًا ما يعتمد الحكم السريري على صورة واحدة أو مقطع واحد من سجل طبي. فكثيرًا ما يتعين على الأطباء جمع تخطيطات القلب والصور الشعاعية وسجلات الفحوص والتقارير النصية معًا، وتحديد مواضع الاتساق أو التعارض بينها. وتعرض دراسة منشورة في مجلة 《npj Digital Medicine》 نموذج QoQ-Med3، في محاولة لتمكين نموذج أساسي واحد من التعامل مع هذه الأشكال المختلفة من البيانات، بدلًا من استخدام نظام ذكاء اصطناعي منفصل لكل نوع من الفحوص.

أنشأ فريق البحث نسختين، هما QoQ-Med3 وQoQ-Med3-MIMIC التي أُضيفت بيانات MIMIC-IV إلى تدريبها، بينما يستند النموذج المنشور إلى Qwen3-VL-8B-Instruct ويضم نحو 9 مليارات مُعامِل. ويستخدم النموذج أسلوب تعلم معزز يضبط المكافآت وفق المجال السريري ودرجة صعوبة البيانات، بهدف تجنب هيمنة الصور أو الأمراض الشائعة على التدريب، وإتاحة إشارات تعلم كافية أيضًا للمجالات ذات البيانات الأقل، مثل التصوير بالموجات فوق الصوتية وتصوير الثدي الشعاعي.

استخدمت النسخة العامة نحو 2.61 مليون عينة من مجموعة بيانات CLIMB، شملت تخطيطات القلب، إلى جانب بيانات ثنائية وثلاثية الأبعاد مثل صور الصدر بالأشعة السينية، وتصوير الثدي الشعاعي، وتنظير الجلد، وعلم الأمراض، وتصوير قاع العين، والموجات فوق الصوتية، والتصوير بالرنين المغناطيسي، والتصوير المقطعي المحوسب. أما نسخة MIMIC، فأضافت سجلات صحية إلكترونية منزوعة الهوية من وحدات العناية المركزة وأقسام الطوارئ، بما يمكّن النموذج من الإجابة عن الأسئلة ضمن سياقات سريرية أطول عبر الجمع بين إشارات تخطيط القلب وصور الصدر بالأشعة السينية والسجلات النصية.

تفيد الورقة البحثية بأن QoQ-Med3 حقق دقة متوازنة قدرها 71.3% بعد تجميع عدة مهام، وبلغت درجة F1 لديه 0.349، متفوقًا إجمالًا على النماذج المفتوحة والمغلقة التي شملتها الدراسة، بما فيها GPT-4o؛ وكان التحسن واضحًا بصورة خاصة في التصوير بالموجات فوق الصوتية وتصوير الثدي الشعاعي. لكن هذه الأرقام ناتجة عن تقييم مجمّع لمجموعات بيانات ومهام تصنيف مختلفة، ولا يمكن تفسيرها مباشرة على أنها تعني أن النموذج يحقق دقة تشخيصية قدرها 71.3% في الممارسة السريرية. كما تُظهر درجة F1 أنه لا يزال هناك مجال كبير للتحسن في الفئات الأقل تمثيلًا والمهام المعقدة.

شكّل الاختبار على بيانات من مؤسسات مختلفة محورًا آخر لهذا العمل. فقد تمكنت النسخة المدرَّبة باستخدام البيانات العامة وحدها من الانتقال إلى بيانات MIMIC-IV المحجوزة التي لم تشارك في التدريب، وكذلك إلى بيانات PMAP الخاصة بمستشفى جونز هوبكنز؛ وأفادت الدراسة أيضًا بانخفاض معدل الهلوسة الناجمة عن نقص المعلومات الخارجية بنسبة 44.4% بعد التدريب. وتدعم هذه النتائج أن النموذج تعلم بعض التمثيلات القابلة للنقل، إلا أن الأداء عبر مجموعات البيانات لا يعادل الموثوقية عند التعامل مع مرضى حقيقيين واختلاف الأجهزة والسجلات غير المكتملة.

أُتيحت نسختا النموذج، اللتان تضمان نحو 9 مليارات مُعامِل لكل منهما، بموجب ترخيص MIT، مع توفير عدة أطر للاستدلال وخيارات للتشغيل ضمن حاويات، لتسهيل إعادة إنتاج النتائج واختبارها من قِبل فرق أخرى. وفي الوقت نفسه، وصفهما فريق البحث بوضوح بأنهما معاينة بحثية: فالأدلة الحالية مستمدة أساسًا من بيانات استعادية ومهام محددة مسبقًا للإجابة عن الأسئلة أو التصنيف، ولا تزال تفتقر إلى تجارب سريرية استباقية، وتقييم لسير العمل بالتعاون مع الأطباء، وتحقق شامل من المعايرة والانحياز السكاني والخصوصية والمسؤولية عن الأخطاء؛ ولذلك فهما غير مناسبين للنشر المباشر في البيئات السريرية.