Microsoft Guidance legt ChatGPT und Co. (gewünschte) Ketten an
KI-Sprachmodelle antworten nicht immer wie gewünscht – problematisch, wenn man mit ihnen Programme erstellen möchte. Microsoft Guidance will Abhilfe schaffen.
(Bild: iX)
Sprachmodelle haben die Tendenz, die Userwünsche, geäußert in Form von Prompts, relativ frei zu interpretieren. Mit langen Prompts kann man die Modelle zwar einfangen, das ist aber oft ineffizient. Programme, die teilweise mit KI-Ergebnissen arbeiten sollen, benötigen aber reproduzierbare Ausgaben. Mit Guidance hat Microsoft nun ein Projekt veröffentlicht, das KI-Sprachmodelle (Large Language Models, LLM) besser und effizienter auf Userwünsche trimmen soll. Dabei handelt es sich um eine eigene KI-Template-Sprache samt eigener Syntax, die den Modellen Regeln vorgibt. Sie richtet sich vor allem an Entwicklungsteams, die beim KI-Einsatz auf verlässliche Ergebnisse angewiesen sind.
Ein Programm, alles drin
Mit Guidance lassen sich Programme schreiben, die sowohl die Textgenerierung, das Prompting als auch die Plausibilitätskontrolle der Ergebnisse KI-Modellen in einem Arbeitsschritt realisieren. Für letzteres lassen sich sogar externe Tools einbinden. Die Syntax von Guidance basiert auf der Web-Template-Sprache Handlebars. Anders als normale Template-Sprachen folgen Guidance-Skripte aber einer vordefinierter Reihenfolge, die auf die Token-Verarbeitungsreihenfolge der KI-Modelle abgestimmt ist. Über den Befehl {{gen}} lassen sich so an vordefinierten Punkten KI-Antworten generieren und ausgeben, beziehungsweise daraufhin Logik-basierte nächste Schritte einleiten.
Die Template-Sprache funktioniert sowohl mit den Sprachmodellen von OpenAI und Hugging Face als auch mit Facebooks geleaktem Open-Source-Modell Llama, das bei vielen Selbst-Hostern zum Einsatz kommt. Microsoft Guidance steht in einem Github-Repository samt passender Jupyter Notebooks zum selbst Ausprobieren der Funktionen zur Verfügung.
(jvo)
