Meta veröffentlicht Code Llama, das auf Zuruf Programmcode schreibt
Meta gibt Software frei, die Code-Strings erstellt, vervollständigt oder von Fehlern bereinigt. Das soll Programmierern die Arbeit erleichtern. Gebührenfrei.
(Bild: Michael Vi/Shutterstock.com)
- Andreas Knobloch
Meta hat ein Programm namens Code Llama veröffentlicht. Es baut auf Metas großem Sprachmodell Llama 2 auf und dient dazu, neuen Programmcode zu generieren sowie von Menschen geschriebenen Code von Fehlern zu befreien. Code Llama darf frei genutzt werden, grundsätzlich auch für kommerzielle Zwecke.
Die genauen Bedingungen entsprechen der Llama 2 Community-Lizenz und deren Acceptable Use Policy. Code Llama kann Code-Strings aus Eingabeaufforderungen erstellen oder Code vervollständigen und debuggen, wenn auf einen bestimmten Code-String verwiesen wird, heißt es. Zusätzlich zum Basismodell von Code Llama hat Meta eine auf Python spezialisierte Version namens Code Llama Python und eine weitere Version namens Code Llama Instruct veröffentlicht, die Anweisungen in natürlicher Sprache verstehen kann. Nach Angaben von Meta sind die einzelnen Versionen von Code Llama nicht austauschbar, und das Unternehmen empfiehlt weder die Basisversion von Code Llama noch Code Llama Python für Anweisungen in natürlicher Sprache.
Code Llama soll Programmierern helfen
"Programmierer verwenden Large Language Models (LLM) bereits, um eine Vielzahl von Aufgaben zu unterstützen, vom Schreiben neuer Software bis hin zum Debuggen bestehenden Codes", schreibt Meta in seinem Blog-Post. "Das Ziel ist, die Arbeitsabläufe von Entwicklern effizienter zu gestalten, damit sie sich auf die menschenbezogenen Aspekte ihrer Arbeit konzentrieren können."
Meta behauptet, dass Code Llama besser abschneidet als quelloffene, code-spezifische LLMs. Das zeigten interne Benchmark-Tests. Nach Angaben des Datenkonzerns erzielte Code Llama 53,7 Prozent beim Code-Benchmark HumanEval und 56,2 Prozent bei Mostly Basic Python Programming (MBPP), und war in der Lage, Code auf der Grundlage einer Textbeschreibung genau zu schreiben.
Code Llama gibt es in drei Größen, mit 7 Milliarden, 13 Milliarden und 34 Milliarden Parametern. Die drei Modelle erfüllen nach Angaben des Unternehmens unterschiedliche Anforderungen in Bezug auf Leistung und Latenzzeit. "Das 7-Milliarden-Modell kann zum Beispiel auf einem einzigen Grafikprozessor betrieben werden", schreibt Meta in dem Blog-Beitrag. "Das 34-Milliarden-Modell liefert die besten Ergebnisse und ermöglicht bessere Unterstützung bei der Codierung, aber die kleineren 7- und 13-Milliarden-Modelle sind schneller und eignen sich besser für Aufgaben, die geringe Latenzzeit erfordern, wie die Codevervollständigung in Echtzeit."
Umkämpfter Markt
Codegeneratoren unterstützen Entwickler schon seit einiger Zeit bei ihrer Arbeit. GitHub brachte im März Copilot X auf den Markt, das auf OpenAIs GPT-4 basiert, um schnell Code zu schreiben und zu überprüfen. Über das automatische Vervollständigen von Code und Kommentaren hinaus sollen sich Entwicklerinnen und Entwickler auch in ihren IDEs – Visual Studio und VS Code – von Copilot X gezielt helfen lassen.
Amazons Alternative zu GitHub Copilot ist die KI-Programmierhilfe CodeWhisperer, die ebenfalls Code schreibt, prüft und aktualisiert. Googles Machine-Learning-Spezialisten aus dem DeepMind-Team wiederum haben mit AlphaCode Software entwickelt, die Programmcode aus natürlichsprachigen Anweisungen erzeugt.
Wie eingangs erwähnt, basiert Code Llama auf Metas Sprachmodell Llama 2. Das ist flexibler als der Vorgänger. Llama 2 wurde aktualisiert und ist weiterhin Open Source und gebührenfrei, aber zugleich leistungsfähiger und noch offener: Die neue Version steht nicht nur der Wissenschaft zur Verfügung, sondern jedermann. Sein erstes großes Sprachmodell Llama veröffentlichte Meta im Februar 2023 für Forschende. Mitte Juli präsentierte Meta in Partnerschaft mit Microsoft dann das neue Spachmodell Llama 2.
(akn)
