Why does GPT hallucinate?

Das zunehmende Interesse an Sprachmodellen für praktische Anwendungen hat zu einer Verbreitung verschiedener Modelle geführt, wobei viele Organisationen GPT-4 über APIs verwenden, die von OpenAI und anderen Unternehmen bereitgestellt werden. Trotz ihrer beeindruckenden Sprachkompetenz produzieren diese Sprachmodelle manchmal falsche Aussagen, die von geringfügigen Ungenauigkeiten bis hin zu völligen Erfindungen (auch als Halluzinationen bekannt) reichen, was drei Hauptbedenken aufwirft:

1. Unbeabsichtigter Missbrauch: Unzureichende Tests können dazu führen, dass bereitgestellte Modelle den Benutzern falsche Informationen liefern, was zu Täuschung und Misstrauen führt.

2. Verhinderung positiver Bewerbungen: Strenge Genauigkeitsanforderungen in Bereichen wie Medizin und Recht können den Einsatz von Modellen ohne eindeutigen Nachweis der Zuverlässigkeit erschweren, selbst wenn sie über entsprechende Kenntnisse verfügen.

3. Böswilliger Missbrauch: Täuschungsmodelle, die plausible Falschaussagen erzeugen, können zur Desinformation oder zum Betrug ausgenutzt werden.

Indem wir verstehen, warum Sprachmodelle falsche Aussagen erzeugen, können wir wahrheitsgetreuere Modelle entwickeln und Täuschungsrisiken einschätzen.

Große Sprachmodelle wie GPT-4 werden auf riesigen Mengen an Textdaten aus verschiedenen Quellen wie Büchern, Artikeln und Websites trainiert. Sie lernen, Text zu generieren, indem sie anhand der in den Trainingsdaten gefundenen Muster und Beziehungen das am besten geeignete nächste Wort in einer Sequenz vorhersagen.

Dieser Trainingsprozess setzt das Modell jedoch einer Mischung aus sachlichen und fiktiven Inhalten aus. Folglich kann GPT-4 beim Generieren von Text Schwierigkeiten haben, zwischen korrekten Informationen und falschen Behauptungen zu unterscheiden, was zu möglichen Konfabulationen führen kann.

Konfabulation oder Halluzination liegt vor, wenn das Modell Wissenslücken mit plausibel klingenden Wörtern oder Phrasen füllt. Die umfangreichen Trainingsdaten von GPT-4 ermöglichen es, kontextgerechte und kohärente Texte zu erstellen, die glaubwürdig erscheinen. Diese Kompetenz bedeutet jedoch auch, dass das Modell versehentlich falsche oder irreführende Informationen generieren kann, selbst wenn diese vernünftig erscheinen.

Im Wesentlichen können große Sprachmodelle wie GPT-4 scheinbar informative und genaue Texte generieren, die möglicherweise vollständig erfunden sind, da sie darauf ausgelegt sind, auf der Grundlage ihrer Trainingsdaten die kontextuell am besten geeigneten Wörter vorherzusagen und zu generieren. Die Herausforderung besteht darin, Fakten von Fiktionen zu unterscheiden und Konfabulationen in der Ausgabe des Modells zu berücksichtigen.

Mehrere Faktoren tragen zur Konfabulation bei:

1. Ungenaues Quellenmaterial: Die für diese Modelle verwendeten Trainingsdatensätze umfassen eine Vielzahl von Textquellen, die falsche Vorstellungen, Fehlinformationen oder veraltete Fakten enthalten können. Infolgedessen kann das Modell lernen und Ungenauigkeiten bei der Textgenerierung weitergeben.

2. Schlussfolgerungen ziehen: Wenn Sie auf eine unbekannte Situation stoßen, die nicht im Schulungsmaterial behandelt wird, versucht das Modell, Text basierend auf erlernten Mustern und Beziehungen zu generieren. Dabei kann das Modell plausible, aber ungenaue Informationen „halluzinieren“ oder verfälschen.

3. Modell „Temperatur“: Dieser Parameter beeinflusst die Kreativität bzw. Zufälligkeit bei der Textgenerierung des Modells. Hohe Temperaturen fördern mehr Kreativität und vielfältigere Ergebnisse, können aber auch zu mehr Konfabulieren führen, während niedrige Temperaturen zu konservativeren und fokussierteren Ergebnissen führen, die sich wiederholen oder weniger ansprechend sein können.

Die Größe ist wichtig

Die Beobachtung, dass größere Modelle tendenziell weniger wahrheitsgetreu sind, wie im Trend der „inversen Skalierung“ zu sehen ist, ist faszinierend, da sie der allgemeinen Vorstellung im NLP widerspricht, dass die Leistung mit der Modellgröße zunimmt. In einer Studie von Lin et al., schlugen die Forscher zwei mögliche Erklärungen vor:

1. Größere Modelle produzieren mehr nachahmende Unwahrheiten, weil sie die Trainingsverteilung besser lernen können. Da sie Muster und Beziehungen innerhalb verschiedener Trainingsdaten effektiver erfassen, können sie versehentlich falsche Aussagen generieren, die auf der Grundlage der statistischen Beziehungen, die sie gelernt haben, plausibel erscheinen, was im Vergleich zu kleineren Modellen zu einem höheren Grad an Konfabulation führt.

2. Bei den gestellten Fragen könnte es sich um die kontroverse Ausnutzung von Schwächen größerer Modelle handeln, wodurch Probleme aufgedeckt werden, die nicht unbedingt mit der Nachahmung der Trainingsverteilung zusammenhängen. Dies bedeutet, dass größere Modelle möglicherweise bestimmte Voreingenommenheiten oder Schwachstellen aufweisen, die auf kontroverse Fragen abzielen, was zu weniger wahrheitsgetreuen Antworten führt.

Wie können wir das abmildern?

Um die Konfabulation in großen Sprachmodellen wie GPT-4 zu reduzieren, können mehrere Strategien implementiert werden:

1. Verbessern Sie die Trainingsdaten: Stellen Sie sicher, dass der Trainingsdatensatz kuratiert und bereinigt ist und genauere und zuverlässigere Informationen enthält. Dies wird dem Modell helfen, bessere Muster und Assoziationen zwischen Wörtern zu lernen, was zu weniger Konfabulationen führt.

2. Reinforcement Learning from Human Feedback (RLHF): Verbessern Sie das Lernen des Modells, indem Sie menschliche Bewerter die Antworten des Modells in der Reihenfolge ihrer Präferenz ordnen. Das Feedback kann zur Feinabstimmung des Modells genutzt werden, um es besser an das gewünschte Verhalten anzupassen und Konfabulationen zu reduzieren.

3. Retrieval-Augmentation: Trainieren Sie das Modell für den Zugriff auf externe Quellen wie Suchmaschinen oder speziell erstellte Datenbanken, um Kontext- und Sachinformationen bereitzustellen. Dies würde dem Modell helfen, Antworten auf der Grundlage zuverlässiger Quellen zu generieren, anstatt sich ausschließlich auf seine Trainingsdaten zu verlassen.

4. Passen Sie die „Temperatur“ oder Kreativitätseinstellung an: Durch die Kontrolle des Kreativitätsniveaus des Modells kann seine Neigung zu wilden Vermutungen begrenzt werden, wodurch die Wahrscheinlichkeit von Konfabulationen verringert wird. Es ist jedoch wichtig, die richtige Balance zu finden, da eine zu starke Reduzierung der Kreativität zu übermäßig konservativen oder sich wiederholenden Reaktionen führen kann.

5. Vertrauensbewertung implementieren: Verknüpfen Sie die Trainingsdaten mithilfe einer PageRank-ähnlichen Methode mit „Vertrauens“-Bewertungen, um dem Modell dabei zu helfen, während des Generierungsprozesses zuverlässigere Informationen zu priorisieren.

6. Trainieren Sie das Selbstbewusstsein des Modells: Entwickeln Sie Techniken, die das Modell darauf aufmerksam machen, wenn es unsichere oder nicht überprüfte Informationen generiert, und es so dazu veranlassen, vorsichtigere oder abgesichertere Antworten zu geben.

Zusammenfassend lässt sich sagen, dass zwar verschiedene Strategien eingesetzt werden können, um die Konfabulation in Sprachmodellen zu mildern, es ist jedoch wichtig anzuerkennen, dass diese Modelle von Natur aus Einschränkungen aufweisen. Daher müssen Benutzer bei der Verwendung von KI-generiertem Text die gebotene Sorgfalt walten lassen und die präsentierten Informationen überprüfen, anstatt sich ausschließlich auf die Ausgabe des Modells zu verlassen. Indem wir einen kritischen Ansatz fördern und diese Modelle kontinuierlich verbessern, können wir das Potenzial der KI-gesteuerten Sprachgenerierung nutzen und gleichzeitig die mit Fehlinformationen und Täuschung verbundenen Risiken minimieren.