Künstliche Intelligenz verändert die Medizin, und Ärzte nutzen Algorithmen, um alles von Sepsis bis hin zu Stürzen und Tod vorherzusagen. Oft sind diese Vorhersagen direkt in elektronische Gesundheitsakten eingebettet, lassen sich leicht in die Versorgung integrieren – und ihre Leistung wird häufig als selbstverständlich angesehen.
Doch James Deardorff, Geriater und Assistenzprofessor in der Abteilung für Geriatrie an der University of California San Francisco, warnt, dass Genauigkeit allein kein gutes Ergebnis garantiert. Er hat mehrere Modelle entwickelt, die darauf abzielen, Ergebnisse für ältere Erwachsene vorherzusagen, von der Sterblichkeit bis zum Bedarf an Pflegeheimpflege, und er sagt, Kliniker müssten sowohl auf die Zahlen hinter dem Modell als auch darauf achten, wie sie verwendet werden.
In diesem Monat verfasste Deardorff einen Kommentar zu einer großen Analyse von Epics proprietärem Vorhersagemodell für das Lebensende, die in JAMA Network Open veröffentlicht wurde. Sein Punkt ist einfach: Ein Modell kann zu einem schlechten Ergebnis beitragen, selbst wenn es genau ist.
Wie das Modell funktioniert
Epics Modell ist proprietär, was bedeutet, dass seine Funktionsweise nicht öffentlich verfügbar ist. Deardorffs Kommentar konzentriert sich darauf, wie die Vorhersagen des Modells verwendet werden, nicht darauf, wie es erstellt wurde.
Das Modell erzeugt eine Ein-Jahres-Sterblichkeitsvorhersage für einzelne Patienten. Diese Zahl kann ein Gespräch über Versorgungsziele auslösen. Sie kann auch Entscheidungen über die Priorität bei Transplantationen beeinflussen, wo die Einsätze viel höher sind.
Deardorffs Argument ist, dass der Unterschied zwischen diesen beiden Verwendungen enorm ist. Ein Gespräch über Versorgungsziele hat wenige Nachteile. Eine Entscheidung über die Priorität bei Transplantationen könnte tiefgreifende Auswirkungen haben.
Genauigkeit vs. Ergebnisse
Das Problem ist nicht, dass das Modell falsch ist. Das Problem ist, dass Richtigkeit einen nicht vor Schaden schützt.
Deardorffs Kommentar hebt hervor, wie die Genauigkeit eines Modells ernste Risiken verschleiern kann, wenn die Einsätze hoch sind. Die Ein-Jahres-Sterblichkeitsvorhersage eines Patienten mag genau sein, aber sie zu nutzen, um zu entscheiden, wer eine Transplantation erhält, ist eine ganz andere Sache. Das Modell hat den Patienten nicht falsch eingeschätzt; der Schaden entstand durch das, was der Kliniker mit der Information tat.
Dies ist eine subtile, aber wichtige Unterscheidung. Die meisten Modelle werden anhand ihrer Leistung bewertet, gemessen an einem bestimmten Benchmark. Das sagt Ihnen, wie gut das Modell vorhersagt, nicht aber, wie gut seine Vorhersagen genutzt werden.
Deardorff möchte, dass Kliniker beides bedenken. Er möchte, dass sie die Zahlen kennen, aber er möchte auch, dass sie wissen, was diese Zahlen bedeuten, wenn sie ankommen.
Das Kernargument des Kommentars
Deardorffs Mitautor machte den Punkt an seiner Seite geltend. Das Duo argumentierte, dass eine Sterblichkeitsvorhersage, die genutzt wird, um ein offenes Gespräch über Behandlungsziele anzustoßen, kaum Nachteile hat. Dieselbe Vorhersage, die zur Information einer Transplantationspriorisierungsentscheidung genutzt wird, könnte tiefgreifende Auswirkungen haben.
Der Kontrast ist krass. Die eine Nutzung ist risikoarm. Die andere verändert das Leben.
Deardorffs Position ist, dass Kliniker sowohl die Leistung eines Algorithmus kennen müssen – einschließlich in Untergruppen wie älteren Patienten – als auch, wie sie seine Ausgabe verantwortungsvoll nutzen. Das ist ein voller Teller Verantwortung, und es verlangt Ärzten mehr ab, als einfach einer Zahl zu vertrauen.
Warum Geriatrie wichtig ist
Deardorffs Arbeit liegt direkt im Bereich der Geriatrie und befasst sich mit der Entwicklung von Modellen für Sterblichkeit und Pflegeheimversorgung.
Sein Kommentar zum Epic-Modell erweitert diesen Fokus. Er untersucht, wie ein weit verbreitetes Instrument in einer Population abschneidet, die von der medizinischen Forschung historisch unterversorgt wurde.
Die JAMA-Veröffentlichung
Die Analyse von Epics Modell wurde in JAMA Network Open veröffentlicht, einer begutachteten Fachzeitschrift. Das gibt Deardorffs Kommentar eine solide Grundlage. Er kritisiert nicht ein Modell, das er selbst entwickelt hat; er reagiert auf eine veröffentlichte Studie über die Arbeit eines anderen.
Der Kommentar selbst ist für STAT+-Abonnenten verfügbar. Er ist eine Erinnerung daran, dass die akademische Literatur der Ort ist, an dem diese Fragen durchgearbeitet werden, und dass Kliniker sie lesen sollten.
Die Grenzen der Genauigkeit
Deardorffs Punkt ist, dass Genauigkeit notwendig, aber nicht ausreichend ist. Ein Modell kann genau sein und dennoch schlechte Ergebnisse produzieren, wenn seine Vorhersagen unverantwortlich verwendet werden.
Das ist eine harte Lektion für jeden, der glaubt, Technologie löse Probleme automatisch. Ein Modell ist ein Werkzeug, und Werkzeuge können schlecht verwendet werden. Das Modell trifft nicht die Entscheidung; die Person, die es hält, tut es.
Was Kliniker tun sollten
Deardorffs Rat ist unkompliziert. Kennen Sie die Zahlen, aber bleiben Sie nicht dabei stehen. Verstehen Sie, was das Modell Ihnen sagt und was Sie mit diesen Informationen tun.
Er möchte auch, dass Kliniker Untergruppen berücksichtigen. Ältere Patienten können auf Modelle, die auf jüngeren Populationen trainiert wurden, anders reagieren, und diese Unterschiede zu ignorieren kann zu schlechteren Ergebnissen führen.
Der Kommentar ist ein Aufruf zur Verantwortung. Er ist eine Erinnerung daran, dass eine gute Vorhersage nicht dasselbe ist wie eine gute Entscheidung.
Das größere Bild
KI wird zur Standardausrüstung in der Medizin. Modelle sind in elektronische Gesundheitsakten eingebettet, und sie treffen täglich Entscheidungen, die Patienten betreffen.
Das ist ein Wandel, und er erfordert neue Denkgewohnheiten. Ärzte müssen Modellausgaben als Beweise behandeln, nicht als Befehle. Sie müssen verstehen, was das Modell weiß und was es nicht weiß. Und sie müssen weiterhin fragen, ob eine Vorhersage die Versorgung verbessert oder sie nur durch eine schnellere Version desselben Fehlers ersetzt.
Deardorffs Arbeit ist Teil dieser breiteren Diskussion. Er ist ein Praktiker, der Modelle entwickelt, was seinen Warnungen Gewicht verleiht. Er weiß, was die Werkzeuge leisten können, und er weiß, was sie nicht können.
Kernpunkte aus Deardorffs Kommentar
- Ein Modell kann zu einem schlechten Ergebnis beitragen, auch wenn es genau ist.
- Die Verwendung einer Ein-Jahres-Sterblichkeitsvorhersage, um ein Gespräch über Behandlungsziele anzustoßen, hat wenige Nachteile.
- Die Verwendung derselben Vorhersage zur Information einer Entscheidung über die Transplantationspriorität könnte tiefgreifende Auswirkungen haben.
- Kliniker müssen die Leistung eines Algorithmus kennen, auch in Untergruppen wie älteren Patienten.
- Kliniker müssen auch wissen, wie sie die Ausgabe des Modells verantwortungsvoll nutzen können.
Dieser Artikel ist eine Adaption der Berichterstattung über den Bericht von STAT, bei dem es sich um gated Content handelt. Der vollständige Kommentar ist für STAT+-Abonnenten verfügbar, und die Analyse in JAMA Network Open, auf die er reagiert, befindet sich ebenfalls hinter einer Paywall.
Quellenmaterial: „STAT+: A geriatrician explains why AI for older adults deserves careful scrutiny“, STAT.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.