Taschenrechner, Suche, Datum: Meta arbeitet an Sprachmodell, das via API lernt
Chatbots wie ChatGPT sammeln Informationen zusammen, um ein Ergebnis zu bekommen. Meta arbeitet an einem Sprachmodell, dass einzelne Dienste nutzen kann.
(Bild: Michael Vi/Shutterstock.com)
Metas KI soll einen Taschenrechner benutzen können, einen Kalender und weitere Dienste. Was zunächst gar nicht so aufregend klingt, scheint aber bei der Konkurrenz von Microsoft teilweise Schwierigkeiten zu machen. Dort kommen besonders häufig bei sehr simplen Fragen verquere Antworten heraus, während beispielsweise aktuelle Nachrichten aus verschiedenen Quellen gut und richtig zusammengefasst werden können. Das Sprachmodell von Meta heißt Toolformer und basiert auf GPT-J – also einem Vorgänger von ChatGPT und GPT-3. Neu an dem Ansatz ist vor allem, dass der Toolformer sich selbst die Nutzung externen Werkzeuge beibringen kann. Das macht es über die APIs. ChatGPT soll hingegen vor allem mittels zahlloser Stunden menschlicher Arbeit trainiert worden sein.
Toolformer kann quasi den Umgang mit allen Diensten lernen, auch mit einer Suchmaschine. Das ist freilich Bings Königsdisziplin. Im Training muss man dem Sprachmodell laut eines öffentlichen Papers nur einige Male zeigen, wie und was es tun soll, dann kann es selbstständig damit weitermachen. Auch soll die KI selbst entscheiden können, welchen Dienst sie nutzen muss, um eine Frage zu beantworten. Im Idealfall könnte das also so aussehen: Gibt man ihm eine Rechenaufgabe, sucht sich Toolformer einen online verfügbaren Taschenrechner. Fragt man, warum etwas wie berechnet wird, sucht es nach einer Antwort, die als Konversation ausgegeben wird. Das dürfte ebenfalls die Erwartungshaltung an Bing sein, die aber genau hier manchmal zu scheitern scheint und statt einen Taschenrechner zu befragen andere Ergebnisse für solche Rechenaufgaben gesucht und genutzt hat.
Toolformer von Meta, TALM von Google
In dem Paper, das mehrere Autoren des Meta AI Reasearch Teams und der Universität Pompeu Fabra geschrieben haben, heißt es auch, paradoxerweise könnten Sprachmodelle neue komplexere Aufgaben schon nach wenigen Anweisungen gut erfüllen, kämen jedoch "bei simplen Rechenaufgaben oder beim Nachschlagen von Fakten" ins Straucheln. Mit dem Toolformer wolle man "das beste aus beiden Welten" zusammenfügen. Bisherige Ansätze, so schreiben die Autoren, basierten auf vielen Stunden menschlichen Eingreifens, "oder sie funktionieren, indem sie das Sprachmodell in einem auf eine bestimmte Aufgabe zugeschnittenen Setup, bei der von vorneherein bekannt ist, welche Hilfsmittel benötigt werden", getrimmt werden. Dagegen stehe die Fähigkeit des Toolformers, sich selbst beizubringen, wann und wie etwas genutzt werden kann und soll.
Ein ähnlicher Ansatz, der in dem Paper genannt wird, ist TALM – was für Tool Augmented Language Model steht, ein erweitertes Sprachmodell also. Laut des verlinkten Papers entsteht TALM bei Google und ist ein Sprachmodell, das ebenfalls über APIs auf andere Dienste und damit auch Informationen zugreifen soll. Bisher hat Google Bard angekündigt, die direkte Konkurrenz zur neuen Microsoft Suche Bing, in der die Technik von OpenAI steckt. Bing wiederum ist für erste Personen bereits verfügbar. Bard kann nur intern bei Google von wenigen ausgewählten Personen getestet werden. Auch Meta hat zwar erklärt, KI sei die Zukunft und man wolle investieren – wie diese wissenschaftliche Arbeit zeigt – an die Öffentlichkeit ist jedoch in Sachen Konversations-KI noch nichts gelangt.
(emw)