التكنولوجيا الطبية · eu
مع تراجع دقة الذكاء الاصطناعي التشخيصي، هل يستطيع البشر تدارك الأخطاء؟ تجربة على أصوات القلب تكشف الحدود
وجدت تجربة لتفسير أصوات القلب شارك فيها 48 شخصًا أن دقة التعاون بين الإنسان والذكاء الاصطناعي تراجعت مع تراجع دقة توصيات النظام؛ وحتى مطالبة المشاركين بإصدار حكم مستقل أولًا لم تحافظ على الأداء بصورة مستقرة. وتثير هذه النتيجة مخاوف بشأن الإشراف البشري على الذكاء الاصطناعي الطبي، لكنها لا تزال بحاجة إلى التحقق في العيادات الفعلية.
عندما يخطئ الذكاء الاصطناعي الطبي، يبدو إسناد المراجعة النهائية إلى البشر خط دفاع بديهيًا للسلامة. لكن هل يستطيع المستخدمون التنبه في الوقت المناسب إلى تراجع دقة نظام قُدّم لهم في البداية على أنه عالي الدقة؟ وجدت تجربة ذات توزيع عشوائي على مجموعات، نُشرت في 13 نوفمبر في مجلة «npj Digital Medicine»، أن المشاركين تمكنوا من تصحيح بعض التوصيات الخاطئة، لكن أداءهم النهائي في التفسير تراجع مع انخفاض موثوقية الذكاء الاصطناعي، ولم يوفر حتى نهج «احكم بنفسك أولًا، ثم اطّلع على رأي الذكاء الاصطناعي» حماية مستقرة.
ركزت الدراسة على التسمّع القلبي: تحديد ما إذا كانت أصوات القلب المسجلة طبيعية أم غير طبيعية، مع شمول الأصوات غير الطبيعية أصوات تدفق الدم المرضية والنفخات القلبية، ولم تكن تشخيصًا متكاملًا لأمراض القلب. ومن بين 48 مشاركًا، كان 18 من طلاب السنة الأخيرة في كلية الطب، و19 طبيبًا مقيمًا، و11 طبيبًا أكثر خبرة. فسّر كل مشارك 40 مقطعًا من أصوات القلب؛ وضمت كل من المجموعتين 24 مشاركًا، إذ اطّلعت إحداهما على توصية الذكاء الاصطناعي أولًا، بينما سجلت الأخرى حكمها الخاص أولًا، ثم اطّلعت على التوصية وقررت ما إذا كانت ستعدله.
للتحكم في درجة تراجع دقة النظام، عدّل فريق البحث توصيات الذكاء الاصطناعي يدويًا، بحيث بلغت نسب الإجابات الصحيحة في المراحل الأربع، بالترتيب، 90% و60% و50% و0%. وانخفض متوسط دقة تفسير المشاركين بمساعدة الذكاء الاصطناعي من 81.45% في المرحلة الأولى إلى 58.33% في المرحلة الأخيرة. ورغم أن أداء الإنسان والذكاء الاصطناعي معًا في المراحل الثلاث الأخيرة تجاوز أداء الذكاء الاصطناعي آنذاك، فإنه كان أدنى من أداء مجموعة التفسير المستقل أولًا قبل اطّلاعها على التوصيات، ما يشير إلى أن التدخل البشري لم يعوّض سوى جزء من التراجع.
كان الهدف من اشتراط التفكير المستقل أولًا تجنب اتخاذ إجابة الذكاء الاصطناعي نقطة انطلاق للحكم، لكن التجربة لم تُظهر تحسنًا إجماليًا. وبعد انتهائها، أشار 12.5% فقط من المشاركين في إجاباتهم إلى أنهم لاحظوا انخفاض موثوقية النظام؛ وحتى عند سؤالهم صراحةً عما تغير في النظام، لم ترتفع النسبة إلا إلى 37.5%. ويبرز ذلك الفجوة بين أمرين: فتصحيح خطأ معين أمام المستخدم لا يعني بالضرورة أنه أدرك أن النظام بأكمله بدأ يختل.
طرح الباحثون احتمال أن يشك المستخدمون في أحكامهم أولًا عندما تختلف آراؤهم مع الذكاء الاصطناعي. ففي مجموعة التفسير المستقل أولًا، ظل الأداء من دون مساعدة الذكاء الاصطناعي مستقرًا، لكن الثقة بالنفس انخفضت في وقت أبكر؛ أما الثقة بالذكاء الاصطناعي فلم تشهد انخفاضًا ذا دلالة إحصائية إلا في مرحلة لاحقة. ومع ذلك، يظل هذا تفسيرًا محتملًا للملاحظات، ولا يكفي لإثبات الآلية النفسية الكامنة وراءها.
سُجلت هذه الدراسة في أكتوبر 2023 على منصة AsPredicted، مع تصريح آنذاك بأن جمع البيانات لم يبدأ بعد، وخطة لتجنيد 48 مشاركًا لمقارنة ترتيب عرض توصيات الذكاء الاصطناعي، ومستويات الدقة المختلفة، وما إذا كان المشاركون يلاحظون التدهور. ويتيح السجل العام مراجعة الخطة الأصلية، لكن إعدادات الدقة للمرحلتين الأوليين في التسجيل المسبق تختلف عن تلك الواردة في الورقة المنشورة، ولذلك ينبغي عند تفسير النتائج التمييز بين التصميم المخطط له وما نُفذ فعليًا.
وللتجربة حدود واضحة أيضًا: فقد استخدمت تسجيلات صوتية وتوصيات مضبوطة، من دون تفاعل حقيقي بين الطبيب والمريض أو معلومات سريرية كاملة؛ كما ازدادت درجة تراجع الدقة وفق تسلسل ثابت، وأُضيف في المرحلة الأخيرة أيضًا تعارض بين الإشارات الصوتية والبصرية. لذلك، لا يمكن استبعاد أثر ترتيب المراحل، ويصعب كذلك عزل تأثير كل عامل من عوامل التشويش في المرحلة الأخيرة. ولا يمكن تحويل هذه النتائج مباشرةً إلى معدل للتشخيص الخاطئ في العيادات، كما لا يمكن اعتبارها ممثلة لأداء جميع أنظمة الذكاء الاصطناعي الطبي.
وفيما يتعلق بنشر الذكاء الاصطناعي الطبي وتنظيمه، تطرح الدراسة سؤالًا: ما المعيار الذي ينبغي أن يحققه الإشراف البشري تحديدًا، وكيف يمكن إثبات فعاليته؟ يقترح المؤلفون، إلى جانب أحكام العاملين السريريين، النظر في تنبيهات النظام والمراقبة المستمرة على مستوى المستشفيات والمطورين. أما قدرة هذه الترتيبات على تشكيل خط دفاع أكثر موثوقية للسلامة، فلا تزال بحاجة إلى الاختبار ضمن سير العمل السريري الفعلي.