ChatGPT gibt Quatsch aus: Probleme beim Inferencing

Ein Bug im Inferencing-Kernel soll dazu geführt haben, dass ChatGPT zeitweise reichlich Quatsch geantwortet hat. Inferencing ist der Teil des Systems, der für die Schlussfolgerungen zuständig ist. Entsprechend leitete der Chatbot offensichtlich völlig falsche Inhalte ab. OpenAI reagierte schnell auf erste Nutzerbeschwerden und öffentlich gemachte Beispiele mit Kauderwelsch-Antworten.

Große Sprachmodelle erzeugten Antworten durch die Auswahl von Wörtern, die wahrscheinlich folgen. Diese "Sprache" bestehe aus Zahlen, die in Token abgebildet werden, schreibt OpenAI auf einer Statusseite zum mittlerweile behobenen Fehler. "In diesem Fall lag der Fehler in dem Schritt, in dem das Modell diese Zahlen auswählt. Ähnlich wie bei einem Übersetzungsfehler wählte das Modell leicht falsche Zahlen, was zu Wortfolgen führte, die keinen Sinn ergaben."

Risiken für Große Sprachmodelle

Dass ChatGPT genauso wie andere Chatbots halluziniert, ist keine Überraschung. Normalerweise klingen die Antworten aber immerhin plausibel, auch wenn die Fakten falsch sind. Beispiele, wie unverständlich ChatGPT wegen des Bugs Texte generierte, hat KI-Experte und Kritiker Gary Marcus in seinem Blog gesammelt. Da kann man nachlesen, wie Menschen bei X überlegten, ob ChatGPT wild und verrückt geworden sei. Allerdings schreibt Marcus auch, dass die Auswirkungen des Bugs zeigen würden, wie instabil Große Sprachmodelle und KI-Systeme sind. "Die Realität ist, dass diese Systeme noch nie stabil gewesen sind. Niemand war jemals in der Lage, Sicherheitsplanken zu entwickeln." Er hofft darauf, dass solche Fehler ein Weckruf sind. Der emeritierte NYU-Professor setzt sich unter anderem dafür ein, dass KI-Anbieter das Urheberrecht wahren müssen. Er fordert sogar dazu auf, dass Menschen darauf verzichten sollen, ChatGPT und Co zu nutzen.

Während Marcus meist die ethischen Fragen zu KI im Auge hat, gibt es aber auch reichlich Angriffsszenarien, die für KI-Systeme gefährlich sein können. Zu den Risiken gehören etwa Prompt-Injections, bei denen mittels einer Aufforderung dem Sprachmodell ein Verhalten abverlangt wird, das für Nutzer schädlich sein kann. Auch vergiftete Trainingsdaten können ein Problem sein. Beispielsweise ist es möglich, Bilder mittels eines Tools namens Nightshade so zu verändern, dass sie für die KI unbrauchbare Informationen bereithalten. Die KI lernt gegebenenfalls falsche Zusammenhänge, wenn etwa das Bild eine Kuh zeigt, in den Metadaten aber steht, dass es eine Handtasche sei. Weitere potenzielle Risiken hat das Non-Profit-Projekt OWASP (Open Worldwide Application Security Project) aufgelistet.

(emw)