عندما يواجه الذكاء الاصطناعي الطبي هجمات البيانات المزيّفة: تحاول مسودة SAMD إدخال المخاطر مبكراً إلى طاولة التصميم

تزداد أجهزة الذكاء الاصطناعي الطبية شبهاً بكونها جزءاً من البيئة السريرية: فهي تقرأ الصور أو الإشارات أو بيانات المرضى، ثم تسلّم النتائج إلى الطبيب أو إلى مسار الرعاية. لكن إذا جرى التلاعب بالبيانات الداخلة إلى النموذج أثناء الاستدلال، فلن يكون الخطر مجرد تحيز خوارزمي، بل قد يُدفع النظام الطبي بأكمله نحو حكم خاطئ.

تعرّف مسودة قُدّمت إلى arXiv في 28 مايو بأداة SAMD، وهي أداة مؤتمتة لتحليل سيناريوهات هجمات «حقن البيانات المزيّفة» في الأجهزة الطبية المعتمدة على الذكاء الاصطناعي/تعلّم الآلة. لا يركز فريق البحث على تلويث بيانات التدريب، بل على مرحلة الاستخدام الفعلي للجهاز، حيث يرسل المهاجم بيانات خاطئة إلى النموذج عبر مكوّنات ضعيفة، ما قد يؤدي إلى تشخيص خاطئ أو علاج غير ملائم.

تتمثل الفكرة الأساسية في SAMD في التعامل مع جهاز الذكاء الاصطناعي الطبي كنظام تحكّم، واعتماد أساليب لتحليل سلامة الأنظمة مثل STPA-Sec، من أجل فحص العلاقات بين المستشعرات، ومكوّنات البرمجيات، وواجهات الاتصال، ومحرك تعلّم الآلة واحداً تلو الآخر في مرحلة التصميم. تجمع الأداة بين قواعد بيانات الثغرات والنماذج اللغوية الكبيرة، فتحدد أولاً المكوّنات التقنية في وثائق الجهاز، ثم تبحث عن الثغرات المعروفة ذات الصلة، وأخيراً تولّد مسارات وخطوات هجوم محتملة.

استخدم فريق البحث خمس أجهزة طبية قائمة على AI/ML سبق أن حصلت على FDA cleared من الولايات المتحدة كدراسات حالة. يشير تقرير المسودة إلى أن SAMD حققت precision بنسبة 100% عند تحديد تقنيات الجهاز المستهدف في وثائق الحالات؛ وعند استرجاع الثغرات المعروفة المرتبطة بهذه التقنيات، بلغت precision نسبة 63.2%؛ وعند توليد سيناريوهات هجوم تستهدف نماذج تعلّم الآلة، قيّم فريق البحث صلتها وصحتها بنسبة 95.3%، وبلغ أطول وقت لحالة واحدة نحو 191.64 ثانية.

توضح هذه الأرقام أن SAMD أقرب إلى أداة مبكرة لجرد المخاطر منها إلى دليل مباشر على السلامة السريرية. فأساس التحقق منها هو خمس حالات ووثائق أجهزة، ولا يعادل ذلك اختبارات هجوم في بيئات مستشفيات حقيقية، كما لا يمكن الاستنتاج منه أن الأجهزة التي حصلت على تخليص FDA تحتوي حالياً على ثغرات قابلة للاستغلال الفوري. وبوجه خاص، قد تساعد سيناريوهات الهجوم التي تولّدها النماذج اللغوية الكبيرة على توسيع نطاق تصور المهندسين، لكنها لا تزال تحتاج إلى مراجعة بنداً بنداً من خبراء الأمن السيبراني والأجهزة الطبية والمجال السريري.

يدفع هذا البحث إلى الواجهة مسألة يسهل أن يحجبها زخم الذكاء الاصطناعي: لا ينبغي أن يقتصر تنظيم الذكاء الاصطناعي الطبي والتحقق منه على السؤال عن أداء النموذج على مجموعات بيانات معيارية، بل يجب أيضاً السؤال عما إذا كانت تدفقات البيانات، وطريقة تجميع الجهاز، وموقع الاستخدام تترك مداخل قابلة للتلاعب. ومع دخول الأجهزة الطبية المعتمدة على الذكاء الاصطناعي في مزيد من مسارات التشخيص والعلاج، قد يصبح تحليل السلامة في مرحلة التصميم جزءاً يصعب أكثر تجنبه ضمن الأنظمة التنظيمية وأنظمة الجودة.

ومع ذلك، لا تزال هذه الورقة حالياً مسودة لم تخضع بعد لمراجعة الأقران، كما لا توجد مصادر خارجية مستقلة قدّمت دعماً إضافياً للحدث نفسه. وستتوقف القيمة العملية لأداة SAMD على ما إذا كانت قادرة على الحفاظ على أداء مستقر عبر أنواع أكثر من الأجهزة الطبية، وسياقات أوسع تتفاوت فيها جودة الوثائق، ومراجعات خبراء أكثر صرامة.