Datum: 20.04.2021, 18:30 - 20:00 Uhr
“We are drowning in information and starving for knowledge.” Bei der Lösung dieses informatischen Dilemmas helfen uns künstliche Intelligenzen, auch KI oder AI (Artificial Intelligence) genannt. KI werden in der Diagnostik sowie Therapie eingesetzt und machen den Umgang mit riesigen Datenmengen möglich. Sie unterstützen bei der Prognose klinischer Verläufe von Krankheiten, der Optimierung von Krankheitsprävention und Patientenmanagement.
Doch was steckt hinter AI und wie kann ich ein gutes AI Modell von einem schlechten Modell unterscheiden? Diesen Fragen sind wir mit Prof. Tim Hahn vom Institut für translationale Psychiatrie des Uniklinikums Münster bei unserem Impulsvortrag auf den Grund gegangen. Tim Hahn ist Professor für Prädiktive Analytik und Verfahren des Machine Learning in der Psychiatrie und somit Experte auf diesem Gebiet.
Grundsätzlich werden Machine Learning Algorithmen mit Daten, z.B. MRT Bildern trainiert, um bestimmte Muster zu identifizieren. So kann eine solche auf Machine Learning basierende AI beispielsweise Korrelationen zwischen MRT Gehirn-Scans und dem Alter von PatientenInnen errechnen. Die AI kann anschließend Prognosen zum Alter auf Grundlage von MRT Gehirn-Scans neuer PatientInnen abgeben. Dahinter stecken komplexe mathematische Modelle. Die Bewertung, ob die AI gut oder schlecht modelliert, ist weitaus weniger mathematisch und kann an drei Kriterien festgemacht werden:
Wie gut kann meine AI generalisieren? Eine gute AI sollte verlässliche Prognosen auch in einer unabhängigen Testkohorte machen. Um bei dem Beispiel des MRT zu bleiben: Bleiben die Prognosen korrekt, auch wenn die Testdaten mittels eines anderen MRT Scanners an einem anderen Standort erhoben wurden?
Der Model scope beleuchtet welche Grenzen die AI hat. Eine AI, die bei PatientInnen unter 20 Jahren verlässliche Ergebnisse liefert, kann bei PatientInnen über 60 Jahren falsche Ergebnisse liefern. Die Trainingsdaten sollten also immer die Population widerspiegeln, die wir in der Realität erwarten. Außerdem wird bei diesem Punkt überprüft, welchen Mehrwert eine künstliche Intelligenz hat. Nicht jedes Problem erfordert zur Lösung eine AI.
Bei Risikoprofilen wird überprüft, welche Fehlerquellen eine AI haben kann. Dies hängt sehr stark mit dem Daten zusammen, aus denen die AI lernt. Wenn die Testdaten einen Bias haben, erbt das Modell diesen. Wird eine AI mit Daten, die von Menschen einer bestimmten Ethnizität, Alters- oder Geschlechtsgruppe stammen trainiert, sind die Prognosen für diese Gruppe verlässlich. Für andere Gruppen können die Prognosen hingegen weniger verlässlich ausfallen. Solche Limitationen können überwunden werden, indem auf ein heterogenes Trainingsset geachtet wird oder Prognosen der AI für bestimmte Gruppen nicht angeboten werden.
In einer abschließenden Diskussionsrunde haben wir uns noch mit dem öffentlichen Diskurs zu AI beschäftigt. Muss ich verstehen, wie eine AI bestimmte Prognosen erstellt, um sie bewerten zu können? Laut Prof. Tim Hahn ist das nicht unbedingt nötig. Mathematisch wissen wir, was hinter der AI steckt. Die Black Box zu öffnen verstelle den Blick auf die wirklich wichtigen Kriterien: Generalisierung, model scope und Risikoprofile.
Wir möchten uns bei allen Teilnehmenden, die dabei waren, und natürlich bei Prof. Hahn bedanken. Wir freuen uns auf die nächsten Events mit euch!
