KI aus der Cloud: ML-Instanzen von AWS
Sowohl das Training als auch der produktive Einsatz von großen ML-Modellen kann rechenintensiv sein. Es liegt nahe, diese Aufgaben in die Cloud zu verlagern. Bei AWS sind die Optionen zahlreich. Wer seine Anforderungen genau kennt, kann viel Geld sparen.
Kaum ist die Welt der „Hello World“-ML-Modelle verlassen, stößt der heimische Laptop oder PC an seine Grenzen. Dabei erweist sich nicht nur die GPU als Flaschenhals. Auch andere Faktoren wie zum Beispiel der gemeinsame Speicher, 1st- und 2nd-Level-Caches oder der Durchsatz spielen eine wichtige Rolle. Die richtige Kombination ist entscheidend.
Die optimale KI- / ML-Instanz
Wie stark die einzelnen Faktoren ins Gewicht fallen, hängt unter anderem davon ab, welches konkrete ML-Modell verwendet wird und welche Art und Menge von Daten dabei zum Einsatz kommen. Zusätzlich unterscheiden sich die Anforderungen während des Trainings eines Modells zum Teil stark von denen im produktiven Einsatz zum Generieren von Vorhersagen (Inference). Und auch hier gilt wieder, dass die Unterschiede zwischen Training und Inference vom verwendeten Modell und den Daten beeinflusst werden.