Stability AI veröffentlicht zwei Sprachmodelle mit dem Namen FreeWilly

Metas Llama und das aktuelle Llama 2 bilden die Grundlage für zwei neue Sprachmodelle, FreeWilly1 und FreeWilly 2. Sie sind von Stability AI veröffentlicht worden. Sowohl Metas Llama als auch FreeWilly sind Open Access. Es handelt sich explizit um Modelle, die der Wissenschaft dienen sollen.

FreeWilly1 nutzt das ursprüngliche LLaMA 65B Foundation Modell und wurde mit einem neuen synthetisch generierten Datensatz mit Supervised Fine-Tune (SFT) im Alpaca-Format abgestimmt. FreeWilly 2 ist das leistungsstärkere Modell, es basiert auf Metas Llama 2, das erst seit wenigen Tagen verfügbar ist und auch für kommerzielle Zwecke genutzt werden darf – das gilt nicht für die aufbauenden LLMs von Stability AI, deren kommerzielle Nutzung ausgeschlossen wird. Die Community ist aufgefordert, Feedback einzureichen und sich am Red Teaming zu beteiligen, also dem Verbessern von Sicherheitsmaßnahmen.

FreeWilly ist ein Orca

Für das Finetuning der Sprachmodelle hat Stability AI eine Methode genutzt, die Microsoft entwickelt hat: Die Orca-Methode. Dabei lernt ein kleineres Modell den Argumentationsstil eines größeren, statt die Ausgabe zu imitieren. Einen solchen Trainingssatz gibt es von GPT-4. Dabei ist freilich das kleinere, damit trainierte Modell nicht besser oder genauso gut wie das große Modell, kann aber immerhin andere Modelle mit ähnlicher Größe übertreffen.

Stability AI hat auch die Benchmarks veröffentlicht. In einigen logischen Aufgaben konnte FreeWilly ein ähnliches Niveau wie ChatGPT erreichen, FreeWilly2 ist entsprechend besser. Im Blogbeitrag heißt es: "FreeWilly1 und FreeWilly2 setzen einen neuen Standard im Bereich Open Access von Large Language Models. Beide fördern die Forschung erheblich, verbessern das natürliche Sprachverständnis und ermöglichen komplexe Aufgaben.".

Mit Stable Doodle und Stable Studio hat Stability AI neben dem bekannten Stable Diffusion einige Bildgeneratoren im Portfolio. Sie sind jeweils auf Skizzen spezialisiert oder auf Grafiken. Stable Diffusion XL 0.9 soll besonders realistische Bilder erstellen.

(emw)