KI soll Ärzte entlasten und medizinische Dokumentation effizienter machen. Doch aktuelle Fälle zeigen die Kehrseite: Systeme erfinden Informationen, verwechseln Angaben oder lassen Entscheidendes weg. In Australien landete sogar ein frei erfundener Drogenkonsum in einer Patientenakte. Eine Untersuchung aus Kanada zeigt: Solche Fehler sind kein exotischer Einzelfall.
Rebecca Green ging zu einem Urologen und stimmte einer scheinbar harmlosen Frage zu: Darf künstliche Intelligenz das Gespräch mitschreiben? Später entdeckte sie in einem Schreiben ihres Facharztes an ihren Hausarzt eine Information, die sie nach eigenen Angaben niemals geäußert hatte: Sie würde psychedelische Pilze in Mikrodosen konsumieren.
Green bestreitet das entschieden.
„Ich war fassungslos und den Tränen nahe“, sagte sie gegenüber ABC News. Sie habe niemals solche Pilze genommen. Besonders brisant: In dem medizinischen Schreiben wurde der angebliche Konsum sogar als mögliche Erklärung für frühere Blutungen im Bereich ihrer Nieren angeführt. (abc.net.au)
Aus einer KI-Erfindung war damit eine vermeintliche medizinische Tatsache in ihrer Krankenakte geworden.
Die KI erfindet – der Arzt unterschreibt
Genau hier liegt die Gefahr. Eine falsche Antwort eines gewöhnlichen Chatbots verschwindet normalerweise mit dem Chat. Eine falsche Information in einer medizinischen Dokumentation kann dagegen weiterleben. Andere Ärzte können sie lesen, sie kann in Überweisungen auftauchen und spätere medizinische Entscheidungen beeinflussen.
Green sorgte sich zudem, weil sie Leistungen aus einer Arbeitnehmerentschädigung erhielt und befürchtete, die falsche Angabe über illegalen Drogenkonsum könnte Auswirkungen auf ihren Fall haben.
Erst nachdem sie selbst den Fehler entdeckte und Beschwerde einlegte, entschuldigte sich die Urologin und korrigierte die Korrespondenz. Die Ärztin erklärte, sie könne nicht feststellen, wie die Behauptung entstanden sei; offenbar sei es zu einem Fehler beim Diktier- oder Transkriptionsprozess gekommen.
Doch damit stellt sich eine noch unangenehmere Frage: Was passiert mit den Fehlern, die kein Patient entdeckt?
Ontario testete 20 Systeme – alle produzierten Fehler
Dass Greens Fall nicht einfach als bizarre technische Panne abgetan werden kann, zeigt eine Untersuchung aus Kanada. Die Auditor General von Ontario untersuchte sogenannte AI Scribes – KI-Systeme, die Arzt-Patienten-Gespräche erfassen und daraus automatisch medizinische Notizen erstellen.
Das Ergebnis ist bemerkenswert:
Bei den Beschaffungstests zeigten die Systeme aller 20 zugelassenen Anbieter mindestens eine Ungenauigkeit. Dazu gehörten falsche Informationen, fehlende Angaben und klassische KI-„Halluzinationen“ – also Inhalte, die das System schlicht erfunden hatte. (globalnews.ca)
Bei neun der 20 Anbieter erfanden die Systeme Informationen oder erzeugten Behandlungsvorschläge, die nicht mit den simulierten Gesprächen übereinstimmten. Bei 17 fehlten wichtige Informationen. Der Rechnungshof warnte, solche Fehler könnten unter realen Bedingungen zu unzureichenden oder sogar schädlichen Behandlungsplänen führen.
Eine KI kann also einen Satz produzieren, der sprachlich perfekt und medizinisch plausibel klingt – und trotzdem vollständig erfunden ist.
Falsche Brust, erfundene Epilepsie
Auch Australien liefert weitere Warnzeichen.
ABC verweist auf Untersuchungen der Datenschutzorganisation Digital Rights Watch. Dabei wurden Fälle beschrieben, in denen ein KI-System bei einer Brustkrebsdiagnose die falsche Brust dokumentierte. In einem anderen Fall schrieb ein System einem Patienten Epilepsie zu, obwohl dieser keine Epilepsie hatte. (abc.net.au)
Ärzte sollen kontrollieren – doch genau hier liegt das Problem
Die Verteidigung der Systeme lautet: Der Arzt trägt weiterhin die Verantwortung und muss die automatisch erzeugten Texte überprüfen. Das stimmt. Die australische Ärzteaufsicht AHPRA betont ausdrücklich, dass Ärzte sämtliche von KI-Schreibassistenten erzeugten Inhalte auf Richtigkeit kontrollieren müssen.
Doch weshalb werden diese Systeme überhaupt eingeführt?
Um Ärzten Zeit zu sparen.
Wenn ein überlasteter Arzt jede automatisch erzeugte Notiz anschließend Wort für Wort mit dem Gespräch vergleichen müsste, schrumpft genau dieser Effizienzgewinn. Hinzu kommt ein psychologisches Problem: Je zuverlässiger ein automatisiertes System normalerweise erscheint, desto größer kann die Versuchung werden, seinen Ergebnissen zu vertrauen. Elizabeth Deveny vom Consumers Health Forum of Australia berichtete von Hinweisen, wonach Anwender KI-Ausgaben anfangs sorgfältig kontrollieren, später aber weniger intensiv prüfen, weil sie davon ausgehen, dass das System schon richtigliegen werde.
Genau dann kann aus einer KI-Halluzination ein medizinischer Akteneintrag werden.
40 Prozent der australischen Hausärzte nutzen solche Systeme
Von einer experimentellen Randtechnologie kann längst keine Rede mehr sein.
Das Royal Australian College of General Practitioners schätzte, dass etwa 40 Prozent der Hausärzte solche KI-Schreibassistenten regelmäßig verwenden – laut ABC wurde selbst diese Zahl als konservativ betrachtet.
Die Vorteile sind real: Ärzte können sich stärker auf ihre Patienten konzentrieren und verbringen weniger Zeit mit Dokumentation. Genau deshalb verbreitet sich die Technologie so schnell. Und genau deshalb sind Halluzinationen so problematisch.
Wie viele Fehler werden niemals entdeckt?
Früher schrieb ein Arzt auf, was er gehört, untersucht und diagnostiziert hatte. Jetzt sitzt zunehmend ein unsichtbarer digitaler Dritter im Behandlungszimmer. Er hört mit, interpretiert das Gespräch und formuliert daraus eine scheinbar professionelle medizinische Dokumentation.
Doch die Maschine versteht nicht wie ein Arzt. Sie berechnet Sprache. Und manchmal erzeugt sie dabei etwas, das niemals gesagt wurde.
Rebecca Green hatte Glück: Sie las ihre Unterlagen selbst und entdeckte den erfundenen Drogenkonsum.
Andere Patienten könnten einen solchen Fehler niemals sehen. Dann bleibt möglicherweise eine erfundene Diagnose, ein falsches Medikament oder eine frei erfundene Vorgeschichte in der Akte stehen – versehen mit der Autorität einer medizinischen Dokumentation.
Die KI erfindet Drogenkonsum – und plötzlich steht die Lüge in der Patientenakte