Sprachmodelle mit GPT-2 trainieren
Schreiberling
Das Sprachmodell GPT-2 von OpenAI stellte erstmals die Frage, ob KI tatsächlich genauso gut Text produzieren kann, wie Menschen das tun. Der noch leistungsfähigere Nachfolger GPT-3 verstärkte den Hype. Zeit, einen genaueren Blick auf diese neue Art Sprachmodelle zu werfen, wie man sie trainieren kann und was sich mit ihnen anstellen lässt oder was nicht.
Für Menschen ist Sprache das einfachste und effektivste Kommunikationsmittel. Seit Jahrzehnten versuchen Forscher und Firmen, den Maschinen die Unwägbarkeiten und Feinheiten der menschlichen Sprache beizubringen. Mithilfe ausgefeilter Algorithmen der Computerlinguistik (Natural Language Processing, NLP) versucht man, die maschinelle Verarbeitung von Text- und Sprachdaten durch Computer zu ermöglichen.
Anwendungsfälle für ein derartig codiertes Verständnis von Sprache gibt es viele. Dazu gehört etwa die automatische Übersetzung von einer Sprache in die andere. Daneben können Sprachmodelle den Inhalt eines Textes verstehen und erkennen, um welche Themen, Dinge, Menschen oder Orte es geht. Im nächsten Schritt lassen sich automatisch Zusammenfassungen von Texten erstellen. Maschinelle Sprachmodelle sind ebenfalls in der Lage, Texte selbst zu erzeugen oder im Rahmen eines Frage-Antwort-Dialogs zu interagieren.