Es klingt verlockend: Ein Arzt oder eine Pflegekraft hat nach einer langen Schicht kaum noch Energie für die Dokumentation, tippt die wichtigsten Punkte in ChatGPT ein – und bekommt in Sekunden eine sauber formulierte klinische Notiz zurück. Was im Alltag wie eine harmlose Arbeitserleichterung wirkt, hat in Neuseeland jetzt zu einem offiziellen Verbot und der Androhung von Disziplinarmaßnahmen geführt. Health New Zealand (HNZ) hat Mitarbeitende des Gesundheitswesens angewiesen, kostenlose KI-Werkzeuge wie ChatGPT, Claude oder Gemini für klinische Zwecke sofort einzustellen.
Was genau passiert ist
Ein internes Memo, das an alle Mitarbeitenden der Mental Health and Addiction Services im Rotorua-Lakes-Distrikt verschickt wurde, macht deutlich, dass der Einsatz solcher Tools keine Ausnahme war, sondern offenbar verbreitet praktiziert wurde. Die Behörde reagierte mit einem klaren Verbot und verwies auf drei zentrale Problembereiche: Datensicherheit, Datenschutz und die Integrität klinischer Dokumentation. Wer gegen diese Vorgaben verstößt, muss demnach mit formellen Disziplinarverfahren rechnen.
Das eigentliche Problem: Patientendaten in der Cloud
Der Kern des Problems liegt in der Funktionsweise kostenloser KI-Dienste. Wenn ein Mitarbeitender Patienteninformationen in ein Tool wie ChatGPT eingibt, werden diese Daten an externe Server – in der Regel in den USA – übertragen. Dort können sie je nach Nutzungsbedingungen zur Modellverbesserung verwendet werden. Für sensible Gesundheitsdaten, insbesondere im Bereich psychischer Erkrankungen und Suchtbehandlung, ist das ein gravierendes Datenschutzproblem. In den meisten Ländern, darunter auch Deutschland mit der DSGVO, wäre ein solcher Datentransfer ohne explizite Einwilligung der Patienten und entsprechende Verträge schlicht illegal.
Hinzu kommt ein inhaltliches Risiko: Sprachmodelle wie ChatGPT sind darauf ausgelegt, flüssige, kohärente Texte zu erzeugen – nicht unbedingt medizinisch präzise. Sogenannte Halluzinationen, also das Erfinden von Informationen, die plausibel klingen, aber falsch sind, könnten in einer Patientenakte fatale Folgen haben. Eine fehlerhafte klinische Notiz kann die Diagnose, Medikation oder Weiterbehandlung eines Menschen direkt beeinflussen.
Ein globales Problem mit lokaler Brisanz
Der Fall aus Neuseeland ist kein Einzelphänomen. Weltweit berichten Krankenhäuser und Gesundheitseinrichtungen von ähnlichen Vorfällen. In Deutschland hat etwa die Datenschutzkonferenz der Länder bereits mehrfach auf die Risiken des Einsatzes von KI-Tools in sensiblen Bereichen hingewiesen. Gleichzeitig wächst der Druck auf das medizinische Personal: Fachkräftemangel, Bürokratie und Überlastung machen den Griff zu schnellen Lösungen verständlich.
Die Antwort kann jedoch nicht ein pauschales Verbot sein, ohne Alternativen anzubieten. Mehrere Unternehmen entwickeln bereits spezialisierte, datenschutzkonforme KI-Lösungen für den klinischen Bereich – etwa Systeme, die lokal betrieben werden oder über zertifizierte Gesundheits-Cloud-Infrastrukturen laufen. Anbieter wie Microsoft mit Azure Health oder spezialisierte Startups wie Nuance (ebenfalls Microsoft) positionieren sich genau in diesem Segment.
Was Gesundheitseinrichtungen jetzt tun müssen
Der Fall zeigt, dass Verbote allein nicht ausreichen. Gesundheitsorganisationen stehen vor der Aufgabe, klare Richtlinien für den KI-Einsatz zu formulieren, Mitarbeitende zu schulen und gleichzeitig geprüfte, sichere Alternativen bereitzustellen. Die Nachfrage nach Dokumentationsunterstützung ist real – sie mit untauglichen Mitteln zu befriedigen, schafft jedoch Risiken für Patienten, Personal und die gesamte Institution. Der Vorfall in Neuseeland sollte als Weckruf verstanden werden: KI im Gesundheitswesen braucht Governance, nicht nur Begeisterung.
Quellen: Hacker News