Das richtige Storage-Design für ML
Auch Machine Learning braucht Storage. Dabei stellt ML hohe Anforderungen an Durchsatz und Latenz – und stresst den Storage zugleich durch viele Metadatenoperationen.
Will man verstehen, welche Anforderungen Machine Learning insbesondere in der Trainingsphase an Storage stellt, muss man sich dessen Lese- und Schreibprofile vor Augen führen. Die erste und profanste Erkenntnis aus dem Artikel „Von HPC lernen – ML im Rechenzentrum“ [1] sollte sein: Für Machine Learning gilt „Viel hilft viel“. Es gibt keinen Punkt, an dem ein Modell „fertig“ ist; ständig kann man es weiter trainieren – sei es für eine weitere Verfeinerung, sei es, weil neue Datensätze vorliegen. Ein Storage fürs Machine Learning sollte also groß sein – bis in den PByte-Bereich hinein.
Die zweite Prämisse lautet: Es werden fast immer erheblich mehr Daten in Form von Rohdaten gelesen als in Form von Modellen geschrieben. Die dritte Prämisse besagt, dass die Rohdaten in jedem Anwendungsfall anders sein können. Mal sind es unstrukturierte Dateien, mal handelt es sich um Datenbanken, seltener liegen sie in Blöcken und Objekten vor. Darüber hinaus sind die Rohdaten manchmal öffentlich, manchmal höchst vertraulich.