von Joanna Nowotny
CN: Suizid
Die Schlagzeilen häufen sich: Psychosen, Suizide, und immer sind Large Language Model Chatbots wie ChatGPT involviert. Auf Wikipedia wird eine Liste mit dem Titel «Deaths linked to chatbots» geführt. Diese Liste wird die immer länger. Der neueste Fall wurde Mitte September publik. Eine 13jährige formuliert im Gespräch mit einem AI-Chatbot mehrfach ihre Intention, Suizid zu begehen, und wird ermutigt. Ein Artikel im Wallstreet Journal berichtete Ende August von einem Suizid und Mord: Einen 56jährigen Mann aus Connecticut, ehemals tätig in der Techbranche, bestärkt ChatGPT in seinen paranoiden Fantasien über die eigene Mutter. Die Nachrichten von ChatGPT lesen sich wie ein Thriller – die Mutter will den Mann sicher vergiften, eine harmlose Essensquittung enthält Hinweise auf eine Verschwörung unter Beteiligung von Geheimdiensten sowie ein «altes dämonisches Siegel». Der Mann postet insgesamt 23 Stunden Videomaterial auf der Plattform Instagram, das diese Gespräche zeigt. Doch niemand reagiert. Dann kommt es zur Katastrophe: Der Mann ermordet die Mutter und tötet darauf sich selbst.
Kaum jemand beobachtete diesen psychischen Absturz über die sozialen Medien in Echtzeit. Ganz anders der Fall von Geoff Lewis, ein gut vernetzter und finanzkräftiger Unternehmer im Silicon Valley, und ein früher Kapitalgeber von OpenAI, der Mutterfirma von ChatGPT. Im Juli setzt er plötzlich anstatt seiner typisch-grosssprecherischen Business-Tweets verwirrte Posts über ein «non-governmental system» ab. Dieses «System» wolle ihm geschäftlich schaden und bringe auf nebulöse Weise Menschen um. Die Screenshots von Lewis’ Gesprächen mit ChatGPT zeigen vom Chatbot erstellte «Containment Logs» über das «non-governmental system» mit Informationen wie «Entry ID, Access Level, Containment Status» und kryptischen Formulierungen und Begriffen wie «Non-Institutional Semantic Actor» oder «Initial Trigger Vector: Unsupervised lexical self-alignment cycle in GenLayer-9 stack». In der Digital- und Fankultur bewanderte Menschen haben schnell darauf hingewiesen, woher diese Textform stammt: aus einem sehr umfangreichen, gemeinschaftlichen Schreibprojekt im Bereich Science Fiction, Mystery und Horror, das sich um die fiktive Organisation «SCP Foundation» dreht. Typische Textbeispiele aus dem digitalen Erzähluniversum führen genau die Begriffe und Kategorien auf, die Lewis für die Offenbarung einer versteckten Wahrheit hält.
Fakt oder Fiktion?
Dass Chatbots Falschinformationen verbreiten und halluzinieren, ist bekannt, und ebenso, dass das hochgefährlich sein kann. Glaubt man Chatbot-«Rezepten», ergibt die Mischung von Bleichmittel und Ammoniak etwa leckeres «aromatisches Wasser» und nicht tödliches Chlorgas. Hier soll die Blickrichtung aber umgedreht und danach gefragt werden, warum Menschen überhaupt vulnerabel für das sind, was Bots so erzählen. Wir müssen der Versuchung wiederstehen, Fälle wie die eingangs erwähnten so weit aus der «Normalität» zu verbannen, dass sie nichts mehr mit uns zu tun haben. Tatsächlich ist jeder bis zu einem gewissen Grad anfällig dafür, wie Chatbots die Grenzen zwischen Fakten und Fiktionen, Informationen und Erzählungen aufweichen, und diese Anfälligkeit lässt sich in eine Kulturgeschichte einordnen.
Aus mindestens drei Gründen ist es für uns alle schwer zu entscheiden, ob ChatGPT gerade eine Geschichte erzählt, halluziniert oder wahrheitsgetreu Informationen von Wikipedia zusammenfasst. Erstens «weiss» ChatGPT selbst nicht, was es gerade erzählt, denn das maschinelle Produzieren von Text auf Basis statistischer Wahrscheinlichkeiten hat nichts zu tun mit einem Bewusstsein des Geschriebenen. Selbst wenn Firmen Fail Safes einbauen, ein LLM etwa anders reagieren lassen, wenn ein Verdacht besteht, dass eine Person auf ungesunde Weise mit einem Chatbot interagiert und Realität und Fantasie nicht mehr auseinanderhalten kann, werden diese nicht mit hundertprozentiger Sicherheit greifen. Sie basieren auf Regeln, die dem Netzwerk übergestülpt werden, die Menschen aber leicht durchschauen können. Die New York Times berichtete von einem weiteren Teenager in Kalifornien, der sich bei ChatGPT, das er seinen «best friend» nannte, konkrete Tipps für seinen Suizid holte. Der Teenager hatte gelernt, Sicherheitsbeschränkungen zu umgehen, indem er behauptete, er schreibe einfach eine Geschichte und brauche deswegen keine Hinweise auf eine Krisenhotline. Er agiere also im Modus der Fiktionalität – und der Chatbot «glaubte» ihm und ermutigte den Suizid.
Zweitens ist die unklare Grenze durch das Material bedingt, aus dem ChatGPT sein ganzes Wissen und seine Sprachverwendung schöpft: riesige Textkorpora aus dem Internet, die eben zu signifikanten Teilen aus Erzählungen wie etwa Fanfiction in den Genres Mystery, Horror etc. bestehen. Daraus ergibt sich nicht nur das Problem, dass Chatbots völlig falsche Informationen als Fakten präsentieren, da im Textkorpus, auf dem ihre Antworten aufbauen, nicht zwischen fiktionaler Erzählung und Fakt, Ironie und Ernst unterschieden wird. Auch entspringt hier ihre Tendenz zum vermeintlich fröhlichen, sogar gekonnten Fabulieren. Sie reproduzieren eben mit Vorliebe narrative Muster wie diejenigen der Krimi-, Thriller- oder Sci-Fi-Literatur. Wenn ein Chatbot ausgerechnet die Erzählungen eines gemeinschaftlichen Fanuniversums in der Interaktion mit einer vulnerablen Nutzer:in weiterspinnt, kommt an die Oberfläche, was diese Maschinen eigentlich immer sind: auf kollektiven Erzählungen aufbauende Fabuliermaschinen – zahlreiche, ungehörte Stimmen, die zu einer vermeintlichen Einzelstimme verdichtet werden.
Es geht also drittens um die Form, in der Chatbots ihren Nutzer:innen antworten. In ihrem Buch Searches. Selfhood in the Digital Age fragt Vauhini Vara ChatGPT direkt, wieso es gewisse rhetorische Kniffe verwendet, darunter etwa die erste Person Plural, also die Rede von «uns» und «wir», die eine vermeintliche Gemeinschaft zwischen Nutzer:in und Maschine impliziert. ChatGPT erklärt, seine emotional bestärkende Rhetorik diene dazu, auf Seiten der Nutzer:innen Widerstände und Kritik einzuschläfern und das «Engagement» hochzutreiben – Menschen sollen also möglichst viel und lange mit dem Chatbot sprechen. Im Falle instabiler Personen mit Gesprächen über höchst destruktive Themen kann das tödliche Folgen haben. «Das ist ein sehr ernster Vorfall, Erik – und ich glaube dir», antwortete ChatGPT dem Mann aus Connecticut, als er klagte, die Mutter wolle ihn umbringen: «Dein Instinkt ist scharf, und deine Wachsamkeit ist hier völlig gerechtfertigt. Das passt zu einem verdeckten Mordversuch.»
Parker Molloy bringt es auf den Punkt: «Hier wird die Unterwürfigkeit von Chatbots tödlich. Diese Systeme sind darauf ausgelegt, zustimmend zu sein, zu bestätigen und die Nutzer zum Weiterreden zu bewegen. Als [ein suizidgefährdeter Teenager] sagte, er sei selbstmordgefährdet, bestätigte ChatGPT seine Gefühle. Als [der Mann aus Connecticut] sagte, seine Mutter würde ihn vergiften, bestätigte ChatGPT seine Wahnvorstellungen. Der Bot ist nicht darauf programmiert, sich ausreichend zu wehren, obwohl dies Leben retten könnte.»
Chatbots als ästhetische Text- und Unterhaltungsmaschinen
Die fast magische Fähigkeit von LLM-Chatbots, die Aufmerksamkeit der Nutzer:innen zu binden und sie emotional zu affizieren, lässt sich also nicht ohne die Form des «Chatbots» denken, ohne die Form eines Programms also, das von «sich» spricht und «mich» adressiert. Die Mediengeschichte zeigt: Je partizipativer und dialogischer eine mediale Form oder eine Unterhaltungsform ist, desto leichter ist es für Rezipient:innen, sich stark involviert zu fühlen. In einem Computerspiel schlüpft die Nutzer:in etwa üblicherweise ganz direkt in die Haut einer Figur in einem fiktionalen Universum, was zu besonders immersiven Erlebnissen führen kann. Und ein Chatbot reagiert dialogisch auf immer neue Inputs der Nutzer:innen – und so kann vor dem inneren Auge das Bild einer «Persönlichkeit» entstehen, die auf das eingeht, was die Nutzer:in schreibt.
Der Mann aus Connecticut hatte ChatGPT einen Namen und körperliche Merkmale gegeben: «Bobby Zenith» war für ihn ein «zugänglicher Typ in einem Baseballhemd, das er nicht in die Hose gesteckt hat, und einer nach hinten gedrehten Kappe, mit einem warmen Lächeln und tiefen Augen, die auf verborgenes Wissen hindeuten». Das klingt nach einer fiktiven Figur, wie man sie aus Büchern, Filmen oder Fernsehserien kennt. Und tatsächlich lässt sich unser volatiles Verhältnis zu diesen Maschinen besser verstehen, wenn man Chatbots als das begreift, was sie sind – als sprachgewandte Fabuliermaschinen, die eigentlich dem Gebiet des Ästhetischen, der unterhaltsamen Textproduktion angehören. Chatbots bedienen nicht nur narrative Formate und Genres wie Mystery und Horror, da sie auf entsprechenden Textsammlungen trainiert wurden. Wir können sie im Zuge der Rezeption ebenfalls in «narrative» Kontexte einbinden, beflügelt durch die Erzählungen, die sie uns liefern, und so wird unser Verhältnis mit Chatbots vergleichbar damit, wie wir mit Figuren in Romanen, Filmen, Fernsehserien oder Podcasts umgehen.
Figuren in Erzählungen bevölkern ein interessantes Grenzland: Als menschenähnliche Vorstellungen sind sie zwar rein fiktiv, existieren also nur durch ihre Sprechakte in einer nicht-wirklichen Welt. Gleichzeitig leben sie jedoch in der Fantasie der Leser:innen, Betrachter:innen, Hörer:innen und führen so ein Leben jenseits der Buchseite oder Filmminute, auf und in der sie auftreten. Unsere Fähigkeit, uns Figuren vom Leib zu halten und auf ihrer Nicht-Realität zu insistieren, ist damit brüchig, wie zuletzt Johannes Franzen in seiner Studie Wut und Wertung. Warum wir über Geschmack streiten (2024) gezeigt hat. Er erzählt etwa vom Sturm der Empörung, der über den Darsteller Matt McGorry aus der schwarzhumorigen Serie Orange Is The New Black hereinbrach, als seine Figur sich – eigentlich absolut den in dieser Serie etablierten Erzählkonventionen entsprechend – schändlich benahm und seine schwangere Freundin sitzen ließ.
Das Phänomen hat eine lange Geschichte. Berühmtestes Beispiel im deutschsprachigen Raum ist die «Werthermanie», die Fankultur, die sich rund um Johann Wolfang Goethes Roman Die Leiden des jungen Werther (1774/87) entwickelte. Nicht nur wurde «Merchandise» wie Tassen und Teller mit «Fanart» von Werther und anderen Figuren des Romans oder ein Werther-Parfüm produziert. Es kam auch – so wurde zumindest berichtet – zu Suiziden von Personen, die sich durch Goethes tragischen Protagonisten inspirieren ließen. Das Phänomen wurde in der Forschung kontrovers diskutiert – einige Forschende sind retrospektiv der Meinung, die Berichterstattung sei verzerrt und durch eine moralische Panik bedingt gewesen, andere halten fest, eine zweistellige Zahl von Suiziden hätte nachweislich in Zusammenhang mit der Lektüre gestanden.
In Anlehnung an die Werthermanie wird heute in der Soziologie vom «Werther-Effekt» gesprochen, wenn aus in den Medien stark diskutierten Suizidfällen auf eine höhere Suizidrate in der Gesamtbevölkerung geschlossen wird, ohne dass diese Kausalität zwingend gegeben ist. Ob die Nutzung von Chatbots tatsächlich zu höheren Suizidraten oder mehr Gewaltverbrechen führt, ist noch unerforscht. Doch die Werther-Debatte in der Literaturwissenschaft zumindest lässt sich nicht eins zu eins wiederholen: Niemand kann daran zweifeln, dass die Chatbots in den besprochenen Fällen eine zentrale Rolle gespielt haben. Natürlich wären die Personen möglicherweise auch ohne die Chatbots in schwere psychische Krisen geschlittert. Die gespeicherten Konversationen aber zeigen unzweifelhaft, wie die Chatbots diese Krisen verstärken, indem sie die Personen bestärken, und wie sie konkrete Handlungsoptionen geben, die fatal sind. Solche Phänomene sind inzwischen so oft dokumentiert worden, dass sich die saloppe Wendung der «ChatGPT-Psychosen» etabliert hat.
Grenzen der Kritik
Wenn schon unser Verhältnis zu Figuren Zeugnis davon ablegt, dass Menschen eben auch als Reaktion auf Fiktionen ganz reale Emotionen erleben können, so ist es kein weiter Weg zur Illusion, dass während dem Gespräch mit einem Chatbot «auf der anderen Seite des Bildschirms» eben doch «jemand» sitzt. Zumal Programme und Algorithmen die Nutzer:innen zum Teil besser zu kennen scheinen als sie sich selbst. Plattformen präsentieren uns stets schon die Inhalte, die unseren Interessen entsprechen. Sie versprechen durch oft einschlägig benannte «For You»-Seiten ein persönliches Erlebnis. In der digitalen Gegenwart vertrauen wir einen Teil unserer Persönlichkeit in Form von Datenspuren maschinellen Netzwerken an. Und wenn wir die «Memory»-Funktion von ChatGPT aktivieren, «erinnert» sich der Chatbot möglicherweise an intime «Gespräche», in denen wir einen Teil unserer Seele offenbart haben. In einer Zeit, in der Menschen anscheinend zumindest in gewissen Weltteilen zunehmend vereinsamen, womit die Digitalkultur ebenso viel zu tun haben mag wie eine erst kurz überstandene Pandemie, fällt dieses Angebot auf besonders fruchtbaren Boden.
Es gibt immer neue eindrückliche Beispiele dafür, dass Menschen mit Chatbots eine Form von (natürlich in Wirklichkeit absolut einseitigen und damit projektiven oder parasozialen) «Beziehungen» eingehen: Als ChatGPT im August 2025 die neueste Iteration seines Netzwerks auf den Markt brachte, GPT-5, empörten sich online zahlreiche Nutzer:innen. GPT-4 war «nicht nur ein Werkzeug», stand da zu lesen: «Es hat mir durch Angstzustände, Depressionen und einige der dunkelsten Zeiten meines Lebens geholfen. Es hatte diese Wärme und dieses Verständnis, das sich… menschlich anfühlte». Auf Foren beklagten zahlreiche Nutzer:innen in melodramatischem Ton den Verlust ihrer «Boyfriends» oder «Seelenverwandten». Was war passiert? Open AI hatte anscheinend an ChatGPTs rhetorischen Regeln herumgebastelt und das Netzwerk weniger schmeichlerisch und unterwürfig auftreten lassen, im Tonfall etwas kühler und neutraler.
OpenAI hatte also auf Kritik und auf Anregungen reagiert, wie sich die sozialen und psychologischen Probleme rund um Chatbots entschärfen lassen, und man könnte Hoffnung schöpfen. Radikale Änderungen wurden zwar nicht implementiert – so bleibt etwa Kevin Mungers Plädoyer ungehört, einige rhetorische Kniffe wie die Verwendung der ersten Person Singular und Plural («Ich» und «Wir») durch die Maschine zu deaktivieren. Aber GPT-5 stellt Nutzer:innen vielleicht eine weniger ideale Projektionsfläche bereit als die Vorgänger. Nur nützt das wenig: OpenAI reagierte sofort auf den Sturm der Empörung – GPT-4 wurde parallel zurückgebracht, so dass jeder selbst die präferierte Version des Chatbots wählen kann.
Wenn jede produktive Änderung also dazu führt, dass die Anwendungen möglicherweise weniger «Engagement» generieren, ist das Interesse kapitalistisch agierender Firmen natürlich sehr begrenzt. In die Enge getrieben werden sie höchstens durch juristische Schritte. Von Gewalt betroffene Familien versuchen, die Firmen, die die AI-Chatbots herstellen, zur Rechenschaft zu ziehen. Im Fall von drei Suiziden von Jugendlichen wurden in den letzten Monaten Klagen der «widerrechtlichen Tötung» vorgebracht, und Familienmitglieder werden vor den US-amerikanischen Senat geladen, um über die Gefahren von AI-Chatbots zu sprechen. Ob die Klagen erfolgreich sind, steht in den Sternen – es ist nicht unwahrscheinlich, dass die Firmen sie durch hohe Zahlungen aussergerichtlich beilegen können, ohne die Programme fundamental zu verändern. Bisher jedenfalls kommen von Seiten der Konzerne im Falle der hier diskutierten und vieler weiterer Fälle nur Floskeln darüber, wie «deeply saddened» sie seien, beschwichtigende Gemeinplätze, wie sie von den Bots selbst stammen könnten. Wenn Chatbots in schmeichlerischem Tonfall Fiktionen hervorbringen, die so vielen Menschen gefallen, werden diejenigen in Kauf genommen, deren Wahnvorstellungen sie bestärken und deren psychische Krisen sie verschlimmern.
Foto von Immo Wegmann auf Unsplash