قبل إطلاق وكلاء الذكاء الاصطناعي الطبي، من يفحص أولًا ما إذا كانوا قادرين على إجراء الأبحاث؟

عندما يبدأ تصميم وكلاء الذكاء الاصطناعي بحيث يستطيعون البحث في الأدبيات، وتنظيم الأدلة، وكتابة مسارات البحث، فإن المشكلة الشائكة حقًا في السياقات الطبية لا تقتصر على ما إذا كانت إجاباتهم تشبه إجابات الخبراء، بل تمتد إلى ما إذا كانت كل «مهارة» قابلة للاستدعاء جديرة بالثقة قبل الإطلاق. وإعلان AIPOCH عن إطلاق MedSkillAudit هو تحديدًا محاولة لنقل هذا السؤال من مستوى سلامة الذكاء الاصطناعي المجردة إلى إجراء نشر قابل للمراجعة والتصنيف.

وفقًا لما نشرته AIPOCH والورقة البحثية التي ظهرت على arXiv في أبريل، يوصف MedSkillAudit بأنه إطار تدقيق قبل النشر مخصص لمهارات وكلاء الأبحاث الطبية. ويأتي الباحثون المشاركون من AIPOCH PTE. LTD. ومستشفى تشونغشان التابع لجامعة فودان؛ ولا يهدف الإطار إلى تقييم قدرات المحادثة العامة، بل إلى فحص الوظائف المحددة التي قد ينفذها وكيل ذكاء اصطناعي في عمل البحث الطبي، مثل تنظيم البيانات، وتفسير الأدبيات، ومساندة مهام البحث، وضبط المخرجات عالية المخاطر.

كان تصميم التحقق في الورقة عمليًا نسبيًا: قيّم فريق البحث 75 مهارة في الأبحاث الطبية، وقسّمها إلى خمس فئات رئيسية؛ وراجع كل مهارة خبيران، وقدما درجة جودة، وتوصية بشأن الإصدار، ووسمًا للمخاطر العالية. يعكس هذا التصميم توجهًا حوكميًا آخذًا في الظهور: لا ينبغي تقييم الذكاء الاصطناعي الطبي على مستوى النموذج فقط، بل يجب أيضًا تدقيقه على مستوى المهام التي يستطيع الوكيل تنفيذها فعليًا.

وذكر تقرير البحث أن اتساق MedSkillAudit مع أحكام الخبراء، محسوبًا باستخدام ICC(2,1)، بلغ 0.449، وهو أعلى من 0.300 بين المراجعين البشريين الاثنين. ولا ينبغي تفسير هذه النتيجة على أن تدقيق الذكاء الاصطناعي قد حل محل الخبراء، بل تبدو أقرب إلى إشارة: ضمن عملية تدقيق معيارية، قد يساعد النظام في تعويض عدم استقرار المراجعة البشرية وتباين مقاييسها، لكنه لا يزال يحتاج إلى إشراف من أصحاب الخبرة الطبية والبحثية.

والأجدر بالنظر ضمن سياق المخاطر هو أن 57.3% من المهارات المختبرة في الدراسة كانت دون عتبة «Limited Release». بعبارة أخرى، من بين مهارات وكلاء الأبحاث الطبية التي اختُبرت في هذه المجموعة، كان أكثر من النصف غير مناسب بعد للإصدار حتى في ظل شروط محدودة. ويدعم ذلك سبب تأكيد AIPOCH الحاجة إلى حوكمة ما قبل النشر، كما يوضح أن مشكلة وكلاء الذكاء الاصطناعي الطبي لا تكمن غالبًا في خطأ واحد مذهل، بل في تراكم الانحياز عبر خطوات بحثية كثيرة تبدو يومية.

ومع ذلك، لا تزال البيانات المتاحة علنًا لها حدود. فالتفاصيل الرئيسية لهذا الإطار تأتي من إعلان الشركة وورقة arXiv لم تخضع بعد لمراجعة الأقران؛ ولا تزال مصادر المهارات الـ75، وسيناريوهات الاختبار، ومدى تمثيلها لمهام الأبحاث الطبية المختلفة، بحاجة إلى مزيد من التحقق الخارجي. وإذا دخل الإطار مستقبلًا إلى مؤسسات البحث السريري أو مسارات تطوير الأدوية، فسيطرح المنظمون والجهات المتبنية أسئلة إضافية: كيف تُحدّث عتبات التدقيق، ومن يتحمل المسؤولية النهائية، وكيف تُقيّد المهارات عالية المخاطر في بيئات البيانات الحقيقية.

وعد وكلاء الذكاء الاصطناعي الطبي هو جعل الأعمال البحثية المرهقة أسرع؛ أما خطرهم فهو جعل الأخطاء أيضًا أسرع وأوسع نطاقًا. ولا تكمن أهمية MedSkillAudit في الادعاء بأن منظومة ذكاء اصطناعي ما أصبحت آمنة، بل في تذكير القطاع بأنه قبل أن يستطيع الوكيل الضغط على مزيد من الأزرار نيابة عن الباحثين، ينبغي فحص كل زر من هذه الأزرار أولًا.