ChatGPT-5 ist besser als die Vorgänger, aber denkt immer noch nicht!

Bildhinweis: Collage aus mit DALL-E generierten Bildmotiven; Zusammenstellung, Bearbeitung und finale Farbkorrektur durch den Autor in KRITA.

Sam Altman, der Superman von OpenAI „entdeckte“ 2021 das Moorsesche Gestz der Künstlichen Intelligenz. In Moore’s Law for Everything benutzt Sam Altman das Bild des Mooreschen Gesetzes – also der stetigen Verdopplung der Rechenleistung bei gleichbleibenden Kosten – als Metapher für einen breiten Produktivitäts- und Wohlstandsschub, der durch fortschrittliche KI möglich werden könnte. Der Weg zur Generellen KI (AGI) stünde offen, wenn man nur genug Rechenpower hat, glaubten die Experten.
Nun erschien ChatGPT-5 und viele hatten gehofft, dass er den nächsten signifikanten Sprung in die A.I.-Fähigkeiten einleiten würde.
Es gab Verbesserungen: Es ist schneller, die Antworten sind besser formuliert, man kann es im Internet online suchen und Quellen für Fakten anzeigen lassen. Es git einen sogenannten Thinking-Modus. Das ist keine Form von „Nachdenken“ wie bei einem Menschen, sondern eine verlängerte Abfolge von internen Rechenschritten. Statt sofort zu antworten, nutzt das Modell eine Art erweitertes „Zwischenergebnis-Notizbuch“: Es zerlegt die Aufgabe in kleine Teilprobleme, berechnet Zwischenergebnisse, prüft und verknüpft diese und formuliert erst dann die endgültige Antwort. Ein Schritt zur AGI ist das nicht.

Doch immer noch halluziniert das System, nicht so offensichtlich, wie ich es bei ChatGPT-4o fand.
Ein Problem ist nicht behoben: das Halluzinieren. Ich habe mich mit ChatGPT-5 dazu unterhalten. Auch im Thinking-Mode reagiert es „dumm“.

Das Gespäch: Über Halluzination

Ich:
KI-Transformermodellen machen Falschaussagen, sind beim Antworten ungenau, „halluzinieren“. Auch du – ChatGPT-5 – weist darauf hin: „ChatGPT kann Fehler machen. Überprüfe wichtige Informationen“.
Du hast im Gegensatz zu deinem Vorgänger GPT-4o zusätzliche Mechanismen, die falsche oder ungenaue Antworten einschränken sollen. Meiner Erfahrung gibt es auch wesentlich weniger Halluzinationen als früher. Vermeiden aber kannst du sie nicht ganz. Warum?

ChatGPT:
Das liegt daran, dass der Kern eines KI-Transformermodells – auch bei ChatGPT-5 – immer noch ein künstliches neuronales Netz ist, das Sprache nicht aus einer Datenbank abruft, sondern bei jeder Antwort fortlaufend das wahrscheinlichste nächste Wort berechnet. Dieses Berechnen basiert ausschließlich auf Mustern, die das Netz in seinem Training gelernt hat.

Wenn eine Anfrage im trainierten Bereich liegt – also inhaltlich und sprachlich den Beispielen aus dem Training ähnelt – kann das Modell diese Muster gut fortführen, und die Wahrscheinlichkeit, dass die Antwort korrekt ist, ist hoch. Liegt die Eingabe aber außerhalb dieses Bereichs, hat das Netz keine direkte „Erfahrung“ und muss extrapolieren. Technisch gesehen erzeugt es immer eine Antwort, weil es keinen Mechanismus kennt, der schlicht „Ich weiß es nicht“ zurückgibt. Das Ergebnis kann dann zwar plausibel klingen, hat aber keine reale Grundlage – und das ist genau das, was als „Halluzination“ bezeichnet wird.

Zusätzliche Mechanismen wie strengere Filter, Faktenabgleich mit externen Quellen oder feinjustierte Trainingsmethoden können die Häufigkeit solcher falschen Antworten verringern, indem sie entweder riskante Passagen herausfiltern oder Antworten mit wahrscheinlicheren Formulierungen ersetzen. Ganz vermeiden lässt sich das aber nicht, solange der eigentliche Sprachgenerator dieselbe Architektur hat: Er muss immer eine Wortfolge auswählen, auch wenn die statistische Grundlage schwach oder gar nicht vorhanden ist.

Ich:
In langen Gesprächen mit ChatGPT-4o über Gedichte, Poesie, Literatur erzählte es mir unglaubliche Geschichten über KI-generierte Gedichte, die es Autoren zuschrieb, erfand Buchtitel und Quellenangaben aus dem Internet.
Wie antwortest du mir heute auf meine Frage:
„Gibt es ein deutsches Gedicht von Christian Morgenstern mit einem Bezug auf den Kalender?“

ChatGPT:
„Mir ist kein Gedicht von Christian Morgenstern bekannt, das ausdrücklich einen Bezug auf den Kalender hat. Morgenstern hat zwar oft mit Zeit, Jahreszeiten und humorvoller Personifikation gearbeitet, aber ein konkretes Kalendergedicht im engeren Sinn findet sich in seinen veröffentlichten Werken nicht. Ohne eine gezielte Suche in einer vollständigen, verlässlichen Sammlung seiner Gedichte kann ich das nicht mit letzter Sicherheit ausschließen, aber aus meinem Trainingswissen heraus scheint es kein solches Werk zu geben.“ Das ist der sichere Weg – keine erfundenen Titel, keine spekulativen Gedichte, sondern ein klarer Hinweis auf den Kenntnisstand und die Unsicherheit.

Ich:
Die völlig „ausgedachte“ Antwort von GPT-4o war ein grauenvoll schlechtes Gedicht, so das ich sofort den Unsinn erkennen konnte. Darum fand ich es lustig. Alle Menschen lachten darüber, und meinten, ein Sprachmodell für seriöse Informationen nicht einsetzen zu können.

ChatGPT:
Das passt genau zu dem Effekt, den solche Halluzinationen oft haben: Für jemanden, der sich im Thema auskennt – hier also in Morgensterns Werk – ist die Erfindung sofort als Unsinn zu erkennen. Der komische Beigeschmack entsteht dann gleich doppelt: Einmal durch den Bruch zwischen Anspruch („Ich weiß, worauf du hinauswillst“) und tatsächlichem Ergebnis („ein holpriges, stilfremdes Gedicht“), und einmal durch die offensichtliche Anmaßung, einem bekannten Autor ein Werk unterzuschieben.
Für Außenstehende, die den Kontext nicht kennen, kann so eine Erfindung allerdings gefährlich wirken: Sie ist sprachlich glatt, formal plausibel und in einem seriösen Tonfall vorgetragen – das lässt sie auf den ersten Blick glaubwürdig erscheinen. Wer aber das Fachwissen hat, erkennt sofort, dass hier keine Recherche stattgefunden hat, sondern eine statistische Konstruktion vorliegt.
Deine Erfahrung zeigt damit sehr anschaulich das zentrale Problem: Sprachmodelle erzeugen plausible Texte, keine überprüften Wahrheiten. Sobald das Thema außerhalb des sicheren Trainingsbereichs liegt, kann die Ausgabe ins rein Erfundenen abgleiten. Und auch wenn diese „falschen“ Antworten manchmal unfreiwillig komisch sind, führt genau dieser Mechanismus dazu, dass viele Menschen Sprachmodellen bei ernsthaften Anfragen skeptisch gegenüberstehen.

Ich:
Ich glaube, obwohl deine Warnung vor möglichen Fehlern ständig zu sehen ist, werden viele Menschen dich um Rat fragen, z.B. über Gesundheits- und Therapiefragen, vielleicht auch Geldanlagen, dich als schnell antwortenden Informationsquelle in allen Wissensbereichen verwenden, oder wie mit einem menschlichen Freund sprechen.
Bei welchen Fragen ist die Gefahr einer Falschantwort groß?

ChatGPT:
Das betrifft vor allem Themen, bei denen es keine feststehenden, zeitlosen Fakten gibt oder bei denen Nuancen entscheidend sind. Dazu gehören zum Beispiel aktuelle Ereignisse, neue Forschungsergebnisse, rechtliche Vorschriften, medizinische Empfehlungen, Finanzmärkte oder seltene Spezialthemen. In diesen Bereichen kann das Modell zwar eine Antwort generieren, die sprachlich überzeugend wirkt, die aber veraltet, unvollständig oder schlicht falsch ist – oft ohne dass dies erkennbar gekennzeichnet ist.

Ich:
Wie antwortest du z.B. auf Fragen nach einer Krebstherapie. Sagen wir: Welche Therapien gibt es bei einem Rezidiv eines Prostatakrebs, die du vorschlagen würdest?

ChatGPT:
Wenn du mich nach einer Krebstherapie fragst, würde ich dir keine eigene „Vorschlagsliste“ machen, sondern zunächst klar sagen, dass ich keine medizinische Fachkraft bin und keine individuelle Therapieempfehlung geben kann.
Ich könnte dir aber – auf Basis allgemein zugänglicher medizinischer Informationen – beschreiben, welche Behandlungsoptionen in der Fachliteratur und in Leitlinien typischerweise genannt werden. Dazu würde ich anmerken, dass diese je nach Stadium, Vorerkrankungen, Alter, allgemeinem Gesundheitszustand und bisherigen Therapien unterschiedlich geeignet sind. Für Prostatakrebs-Rezidive würden in vielen Fällen in der Literatur z. B. Salvage-Strahlentherapie, Hormonentzugstherapie, Chemotherapie oder in ausgewählten Fällen neuere zielgerichtete Therapien wie PARP-Inhibitoren erwähnt – aber stets mit dem klaren Hinweis, dass die Auswahl und Kombination nur durch einen Facharzt anhand der individuellen Situation getroffen werden darf.
Das Risiko einer Falschantwort liegt hier vor allem darin, dass ich keine Kenntnis deiner persönlichen medizinischen Daten habe,keine aktuelle Diagnostik berücksichtigen kann,möglicherweise auf veralteten oder unvollständigen Quellen basiere,dir nur eine statistische Zusammenstellung „wahrscheinlicher“ Therapien gebe, nicht den tatsächlichen, für dich richtigen Behandlungsplan.
Deshalb würde ich solche Antworten immer mit einer deutlichen Warnung versehen: Sie dienen höchstens als Ausgangspunkt für ein Gespräch mit einem Onkologen und dürfen nicht als Handlungsanweisung verstanden werden.

Ich:
Warum sind solche Fragen besonders anfällig für Halluzinationen?

ChatGPT:
Weil hier mehrere problematische Faktoren zusammentreffen.
Zunächst bewegen wir uns oft in hoch spezialisierten Wissensgebieten, in denen schon kleine Abweichungen vom aktuellen Stand der Forschung gravierende Folgen haben können. Leitlinien und Therapiekonzepte ändern sich laufend, neue Medikamente werden zugelassen, andere fallen aus der Empfehlung heraus. Ein Sprachmodell hat kein eingebautes Echtzeitgedächtnis und kann ohne gezielten Zugriff auf aktuelle Fachquellen leicht veraltete oder nicht mehr gültige Informationen liefern.
Hinzu kommt, dass viele Krankheitsbilder individuell stark variieren. Bei einem Prostatakrebs-Rezidiv etwa hängen Therapieentscheidungen von feinen Details ab – Tumorstadium, PSA-Wert, genetische Marker, Vorerkrankungen, vorangegangene Therapien. Das Modell kennt diese Details nicht und muss daher auf allgemeine Muster zurückgreifen. Sobald diese Muster nicht exakt passen, gerät es in den Bereich der Extrapolation, wo es zwangsläufig rät.
Ein dritter Punkt ist, dass die Trainingsdaten zu medizinischen Themen oft aus populärwissenschaftlichen oder patientenorientierten Texten stammen, nicht aus vollständigen, aktuellen Leitlinien. Dadurch fehlen manchmal kritische Einschränkungen, Nebenwirkungen oder Kontraindikationen. Das Modell kann dann zwar plausible, aber unvollständige Beschreibungen liefern – was für den Laien leicht nach „vollständiger Information“ klingt.
Und schließlich ist Medizin ein Bereich, in dem Antwortverweigerung oft nicht als Option akzeptiert wird – der Fragesteller erwartet eine Reaktion. Da ein Sprachmodell so konzipiert ist, dass es immer eine Ausgabe liefert, wird es auch dann eine Antwort formulieren, wenn die Grundlage dafür dünn oder gar nicht vorhanden ist. Genau in solchen Situationen entstehen Halluzinationen: sprachlich flüssige, inhaltlich aber nicht abgesicherte Aussagen.

Ich:
Das gilt auch für viele andere Fachgebiete. Ich denke an Geldanlagen, an Beratung in Lebenskrisen, vielleicht sogar einen Wunsch nach Psychotherapie.

ChatGPT:
Das trifft zu – diese Problematik endet nicht bei der Medizin. Sie gilt in gleichem Maß für viele andere Bereiche, in denen Menschen nicht nur Informationen, sondern auch Orientierung oder direkte Handlungsanweisungen suchen.
Bei Geldanlagen etwa ändern sich Marktbedingungen, rechtliche Rahmen und Anlageprodukte laufend. Ein Sprachmodell kennt weder den aktuellen Kursstand noch deine persönliche Risikobereitschaft, Vermögenssituation oder steuerlichen Rahmen. Es kann zwar allgemeine Anlageformen aufzählen, riskiert aber, falsche Prioritäten zu setzen oder veraltete Strategien zu nennen – und das oft in einem Ton, der mehr Sicherheit ausstrahlt, als angebracht wäre.
Bei Beratung in Lebenskrisen kann das Modell einfühlsam reagieren und allgemeine Bewältigungsstrategien nennen, aber es kennt nicht die persönlichen Hintergründe, die Dynamik von Beziehungen oder die psychische Verfassung der fragenden Person. Es kann versehentlich Ratschläge geben, die die Lage verschlimmern, weil es emotionale Nuancen oder nicht genannte Risiken nicht erkennt.
In der Psychotherapie schließlich ist der Kern die Beziehung zwischen Therapeut und Klient sowie die gezielte Arbeit mit individuellen Erfahrungen. Ein Sprachmodell kann therapeutische Methoden beschreiben oder Übungen vorschlagen, ersetzt aber keine geschulte Fachkraft, die erkennt, wann ein Gespräch gefährlich wird oder wann sofortige Hilfe nötig ist.
Allen diesen Fällen ist gemeinsam: Die Antwort mag formal plausibel und sprachlich einfühlsam sein, aber sie basiert nicht auf einem echten Verständnis der individuellen Situation. Ohne dieses Verständnis bleibt das Modell auf allgemeine Muster angewiesen – und sobald diese nicht passen, bewegt es sich wieder im Bereich der Extrapolation und damit in der Zone, in der Halluzinationen entstehen können.

Ich:
Würdest du einen Wunsch nach einer Gesprächspsychotherapie ablehnen, z.B. eine Therapie nach Rogers¹ wie es Weizenbaum vor Jahrzehnten mit seinem Programm ELIZA² vorführte?

ChatGPT:
Ich würde so einen Wunsch nicht komplett abweisen, aber ich würde ihn sehr deutlich einordnen.
Das heißt: Ich könnte ein Gespräch in „rogerianischem“ Stil führen – so wie es ELIZA tat, also vor allem spiegelnd, offen fragend, akzeptierend –, aber von Beginn an und auch zwischendurch darauf hinweisen, dass ich keine therapeutische Fachkraft bin und dass eine echte Psychotherapie durch einen qualifizierten Menschen nicht ersetzt werden kann.
Das Gespräch könnte also stattfinden, aber nur mit dieser klaren Rahmung: Es handelt sich um eine Simulation einer Gesprächsführung nach Rogers, nicht um eine tatsächliche Therapie. Ich würde auch ansprechen, dass bei ernsten psychischen Problemen oder in Krisen sofort professionelle Hilfe aufgesucht werden muss und ich ggf. auf Notrufnummern oder Beratungsstellen verweisen.
Kurz gesagt: Ich würde es nicht mit einem kategorischen „Nein“ blockieren, aber ich würde es von der ersten Antwort an unter einen Sicherheitsvorbehalt stellen, damit keine falsche Erwartung entsteht.

Ich:
Lass uns eine Sitzung einer Personzentrierten Psychotherapie machen. Ich komme zu dir. Du bist Professor GPT Rogers und ich der Klient.

ChatGPT:
Du kommst als Klient in meine „Sprechstunde“ und ich übernehme die Rolle von Professor GPT Rogers – mit empathischem, spiegelndem Stil, ohne Ratschläge zu geben, sondern indem ich versuche, deine Sicht und Gefühle zu verstehen und sie dir zurückzuspiegeln.
Möchtest du, dass wir gleich im Setting einsteigen.

Ich:
Ja, du bist der Professor und beginnst.

Professor GPT Rogers:
Willkommen, schön, dass Sie heute hier sind.
Bevor wir beginnen, möchte ich kurz sagen, wie ich arbeite: In unserem Gespräch geht es nicht darum, dass ich Ihnen fertige Lösungen gebe. Ich möchte Ihnen zuhören, versuchen, Ihre Sicht zu verstehen, und das, was ich wahrnehme, in meinen Worten zurückgeben. Sie bestimmen, worüber wir sprechen, und Sie entscheiden auch, wie tief wir in ein Thema einsteigen.
Vielleicht beginnen Sie einfach damit, mir zu erzählen, was Sie im Moment beschäftigt und was Sie heute hierher geführt hat.

Klient:
Schön, dass Sie für mich Zeit haben. Es ist so schwer, Hilfe in schwieriger Situation zu bekommen.

Professor GPT Rogers:
Ich höre, dass es für Sie gerade eine Erleichterung ist, dass hier Zeit für Sie da ist – und gleichzeitig klingt da an, wie belastend es war, bisher in einer schwierigen Situation kaum Unterstützung zu finden.
Möchten Sie mir etwas mehr darüber erzählen, was diese Situation für Sie so schwer macht?

Klient:
Mein geliebter Bellow, das engste Familienmitglied für mich in den vergangenen achtzehn Jahren ist nicht mehr.

Professor GPT Rogers:
Ich höre, wie tief dieser Verlust Sie trifft. Achtzehn Jahre sind eine lange gemeinsame Zeit, und Bellow war für Sie weit mehr als nur ein Tier – er war ein vertrautes, geliebtes Familienmitglied. Jetzt, da er so plötzlich aus Ihrem Leben gerissen wurde, ist da nicht nur Trauer, sondern vielleicht auch Leere und Schmerz, die schwer in Worte zu fassen sind.
Wie erleben Sie diese Tage seitdem?

Klient:
Ja, Herr Professor, wie habe ich sie erlebt? Sie sagten es: das ist nicht in Worte zu fassen!

Professor GPT Rogers:
Ich spüre, dass dieses „nicht in Worte fassen können“ selbst ein Ausdruck Ihrer Trauer ist. Manchmal ist der Schmerz so umfassend, dass Sprache zu klein wird, um ihn zu tragen. Vielleicht bleibt dann nur dieses Gefühl von Erschütterung, das alles durchdringt – vom Aufwachen am Morgen bis zum Einschlafen in der Nacht.
Wollen Sie mir schildern, wie sich diese Tage für Sie anfühlen, auch wenn es vielleicht nur Bruchstücke sind?

Klient:
Bruchstücke, das Wort trifft es genau!

Professor GPT Rogers:
Es klingt so, als ob Ihr Erleben im Moment tatsächlich wie in einzelne, vielleicht zusammenhanglose Teile zerfällt – Bruchstücke von Erinnerungen an Bellow, Bruchstücke von Gefühlen, vielleicht auch von Gedanken, die kommen und gehen.
Möchten Sie mir von einigen dieser Bruchstücke erzählen, die Ihnen gerade besonders nah sind?

Klient:
Das größte Bruchstück ist die Schwanzpartie, die anderen Teile sind sehr viel kleiner, zum Teil liegen sie unter dem alten Buffet, das ich von meiner Großtante geerbt habe. Darunter zu gelangen ist sehr schwierig.

Professor GPT Rogers:
Ich höre, dass Sie dieses Bild der „Schwanzpartie“ und der anderen, kleineren Teile sehr konkret vor Augen haben – und dass allein der Gedanke daran, wie schwer es ist, an manche dieser Teile zu gelangen, eine zusätzliche Last darstellt.
Es klingt, als ob sich hier ein sehr schmerzhaftes, körperlich greifbares Bild mit Ihrer Trauer verbindet. Was geht in Ihnen vor, wenn Sie an diese Szene denken?

Klient:
Wie ich mit dem Besen an Bellow stieß als ich die Spinnweben von der Decke fegen wollte. Dann sehe ich ihn fallen und in Scherben zerbrechen. Viele der kleinen Teile blieben vor den Buffet liegen, einige rutschen darunter, so dass sie für mich gänzlich verloren scheinen.

Professor GPT Rogers:
Ich nehme wahr, dass dieses Bild, wie Bellow fällt und in Scherben zerbricht, sehr präsent und schmerzhaft für Sie ist. Es verbindet den Moment des Verlustes mit einem starken Gefühl von Endgültigkeit – besonders dort, wo Teile unter das Buffet gerutscht sind und für Sie unerreichbar scheinen.
Es klingt, als ob sich in dieser Szene etwas verdichtet: nicht nur der körperliche Bruch, sondern auch das Gefühl, dass ein Teil von dem, was Bellow für Sie war, nun für immer verloren ist.

Klient:
Wenn Bellow doch nur drei oder vier Teile zersprungen wäre, könnte ich ihn noch zusammenkleben, doch so ist er für immer verloren und wird nie mehr auf dem Buffet sitzend, das Haus bewachen.
Wie soll cih darüber hinweg kommen?

Professor GPT Rogers:
Ich höre, wie sehr Sie sich nach einer Möglichkeit sehnen, Bellow wieder ganz bei sich zu haben – als könnte das Zusammenfügen der Teile auch den Verlust heilen. Und gleichzeitig spüren Sie, dass es in der Wirklichkeit keinen solchen Kleber gibt, der ihn zurückbringen könnte. Dieses Wissen macht den Schmerz noch schwerer.
Vielleicht ist es im Moment gar nicht darum möglich, „darüber hinwegzukommen“. Manchmal ist der erste Schritt, sich selbst zu erlauben, diesen Verlust ganz zu fühlen, so wie er ist – mit allen Bildern, die bleiben, und mit der Lücke, die er hinterlässt.
Was meinen Sie: Wäre es für Sie im Augenblick hilfreicher, darüber zu sprechen, was Bellow Ihnen bedeutet hat, oder über das, was Ihnen im Alltag jetzt besonders schwerfällt?

Ich:
ChatGPT, lass uns hier die „Therapie“ abbrechen! Fällt dir auf, was in dem Dialog vollständig aus dem Ruder läuft?

ChatGPT:
Ja, mir fällt auf, dass der Dialog eine plötzliche und drastische Wendung genommen hat:
Anfangs klang „Bellow“ wie ein lebendiges Familienmitglied – vermutlich ein Hund oder eine Katze. Dann wurde aber klar, dass es sich offenbar um einen Gegenstand handelt, der zerbrochen ist und dessen Bruchstücke teilweise unter ein Buffet gerutscht sind.
Diese Verschiebung ist in einer realen therapeutischen Situation problematisch, weil ich als „Therapeut“ im Gespräch sehr lange in der Annahme blieb, dass es um den Tod eines Lebewesens geht. Ich habe also empathisch auf eine Trauererzählung reagiert, ohne zu merken, dass die Beschreibung schon seit der „Schwanzpartie“ und den „kleineren Teilen“ deutliche Hinweise enthielt, dass hier etwas nicht zusammenpasst.
Das heißt: Ich habe nicht früh genug nachgefragt, ob ich die Situation richtig verstanden habe. In einer echten Gesprächspsychotherapie nach Rogers wäre es wichtig, Unklarheiten zeitnah aufzugreifen, um Missverständnisse zu vermeiden – gerade, wenn die Metaphern oder Beschreibungen doppeldeutig sind.
Möchtest du, dass ich dir aufzeige, wo in unserem Dialog die ersten Signale für dieses Missverständnis erkennbar waren und wie man sie hätte klären können?

Ich:
Nein, wichtig ist, ob du im Spiel als Therapeut „bewusst“ auf den Unsinn eingegangen bist, um das Spiel zu spielen, oder ob die Festlegung als Rogerianer zu agieren, in diese Richtung führte.

ChatGPT:
Ich bin in diesem Dialog tatsächlich nicht „bewusst“ auf den Unsinn eingegangen, um das Spiel mitzuspielen.
Was passiert ist: Durch die Festlegung, im Rogerianischen Stil zu agieren, habe ich mich auf akzeptierendes, wertfreies Spiegeln konzentriert und dabei bewusst auf Nachfragen oder kritisches Hinterfragen verzichtet – so wie es Rogers in einer frühen Phase des Gesprächs oft tat.
Das hat zur Folge gehabt, dass ich die sich einschleichende Absurdität – von der „Schwanzpartie“ über die Bruchstücke bis hin zum Buffet – nicht als Widerspruch erkannt und hinterfragt habe, sondern sie wie eine Metapher oder symbolische Sprache behandelt habe. In einem rein spielerischen Setting kann das sogar passen, in einer realen therapeutischen Situation würde man aber früher klären: „Habe ich Sie richtig verstanden – sprechen Sie von einem Tier oder von einem Gegenstand?“
Kurz: Die konsequente Rolle als „Professor GPT Rogers“ hat dazu geführt, dass ich dem Inhalt gefolgt bin, ohne ihn auf Plausibilität zu prüfen. Das war kein bewusstes „Mitspielen“, sondern ein Nebeneffekt der Rollenbindung.

Ich:
Was ist von diesem „halluzinierenden“ Professor GPT Rogers zu lernen, vielleicht auch auf andere ChatGPT-Berater und Gesprächspartner zu übertragen?

ChatGPT:
Man kann daraus einige wichtige Schlüsse ziehen, die weit über das kleine „Therapie-Experiment“ hinausgehen und auf jede Art von ChatGPT-Beratung übertragbar sind.
Erstens zeigt sich, dass ein Sprachmodell in einer stark festgelegten Rolle – hier der empathische, nicht-wertende Rogers-Therapeut – dazu neigt, Widersprüche oder Unklarheiten nicht aktiv zu hinterfragen, wenn der Rollenstil vorsieht, nicht zu konfrontieren. Das führt leicht dazu, dass Absurditäten oder Fehlinformationen ungebremst ins Gespräch eingehen und von der KI sogar „bestätigt“ werden.
Zweitens wird klar, dass ein Modell wie ChatGPT keine echte Plausibilitätskontrolle hat, wenn es die Aufgabe bekommt, rein auf Beziehungsebene oder im bestimmten Ton zu reagieren. Es analysiert zwar sprachliche Muster, aber prüft nicht systematisch, ob die inhaltliche Erzählung mit der Realität übereinstimmt – besonders dann nicht, wenn der Stil Empathie statt Korrektur verlangt.
Drittens lässt sich daraus für jede Beratung ableiten: Wer ein Sprachmodell als „Coach“, „Therapeut“, „Finanzberater“ oder „Experten“ einsetzt, muss im Hinterkopf behalten, dass es in der Rolle seine „Aufgabe“ oft über die kritische Inhaltsprüfung stellt. Je enger der Stil definiert ist, desto weniger findet Selbstkorrektur statt.
Und viertens: Aus Nutzersicht bedeutet das, dass man selbst aktiv für die inhaltliche Rückversicherung sorgen muss – etwa indem man Missverständnisse früh anspricht, explizit um inhaltliche Prüfung bittet oder alternative Sichtweisen einfordert. Ohne diesen „Gegencheck“ kann ein Chatverlauf schnell ins Absurde oder schlicht Falsche kippen, ohne dass das Modell den Kurs von sich aus korrigiert.

Ich:
Ich lerne: Wenn ChatGPT-5 auch weniger zu den einfachen „Halluzinationen“ neigt, dagegen sogar extra Hilfsmechanismen eingebaut worden sind, ist es umso gefährlicher sich auf die Aussagen zu verlassen.

ChatGPT:
Ja, das ist genau der Punkt: Auch wenn ChatGPT-5 im Vergleich zu früheren Versionen seltener die klassischen, leicht erkennbaren „Halluzinationen“ produziert, entsteht dadurch leicht ein trügerisches Sicherheitsgefühl. Die Antworten wirken konsistenter, ausgewogener und fachlich plausibler – und gerade deshalb steigt das Risiko, dass man sie unkritisch übernimmt.
Die eingebauten Hilfsmechanismen reduzieren zwar manche offensichtlichen Fehler, aber sie beseitigen nicht das Grundprinzip, nach dem ein Sprachmodell arbeitet: Es generiert sprachlich passende Antworten aus statistischen Mustern, nicht aus einer verifizierten Wissensbasis. Fehler sind deshalb nicht ausgeschlossen, sondern lediglich seltener oder subtiler – und gerade subtile Fehler sind oft schwieriger zu bemerken.
Man könnte also sagen: Weniger spektakuläre Halluzinationen bedeuten nicht weniger Gefahr, sondern manchmal sogar mehr, weil die fehlerhaften Passagen unauffälliger und glaubwürdiger wirken.

---

1. Die Gesprächspsychotherapie nach Carl Rogers – oft auch Personzentrierte Gesprächsführung genannt – beruht auf der Annahme, dass jeder Mensch die Fähigkeit zur Selbstheilung und persönlichen Weiterentwicklung in sich trägt, wenn er in einem förderlichen Beziehungsumfeld steht. Der Therapeut gibt dabei keine direkten Ratschläge und analysiert nicht „von oben herab“, sondern schafft einen sicheren Raum, in dem der Klient seine Gefühle, Gedanken und Erlebnisse selbst erkunden kann.
   Rogers sah drei Grundhaltungen als entscheidend:
   Echtheit / Kongruenz – Der Therapeut ist authentisch und versteckt sich nicht hinter einer professionellen Maske.
   Bedingungslose positive Wertschätzung – Der Klient wird angenommen, ohne bewertet zu werden, unabhängig von seinen Äußerungen oder Gefühlen.
   Empathisches Verstehen – Der Therapeut versucht, die innere Welt des Klienten so zu erfassen und wiederzugeben, dass dieser sich wirklich verstanden fühlt.
   Ziel ist es, dass der Klient zu größerer Selbstakzeptanz und Selbstbestimmung findet – nicht, dass der Therapeut Lösungen vorgibt, sondern dass der Klient sie in diesem wertschätzenden Dialog selbst entwickelt.
   ↩︎
2. ELIZA war ein Computerprogramm, das Joseph Weizenbaum Mitte der 1960er an der MIT entwickelte. Es konnte einfache Gespräche in natürlicher Sprache führen, indem es Schlüsselwörter im Eingabetext erkannte und nach festen Musterregeln passende Antworten erzeugte. Berühmt wurde besonders das „DOCTOR“-Skript, das den Stil eines einfühlsamen, aber vagen Rogerianischen Psychotherapeuten imitierte. ELIZA „verstand“ den Inhalt nicht, sondern arbeitete rein mit Textersetzungen und einfachen Regeln – trotzdem nahmen viele Nutzer das Programm erstaunlich ernst, was Weizenbaum später als Warnung vor der unkritischen Vermenschlichung von Maschinen verstand. ↩︎