Parallelisierte Rechenpower fürs maschinelle Lernen

Massiv paralleles Rechnen ist die Paradedisziplin von GPUs. Nicht nur aus diesem Grund kommt Machine Learning nicht ohne sie aus.

Von Daniel Menzel

HPC und Machine Learning begegnen der Komplexität der Aufgaben mit derselben Strategie: Parallelisierung oder besser: massiver Parallelisierung. Wo sich etwa mathematische Probleme aus den Ingenieurs- und Naturwissenschaften nicht als Formel geschlossen berechnen lassen, hilft nur eine numerische Annäherung, bei der man die Aufgabe in viele kleine, handhabbare mathematische Teilaufgaben unterteilt.

Komplexe physikalische Berechnungen wie zum Strömungsverhalten von flüssigem Stahl finden heute als Simulationen statt (Abb. 1)., Eike Runschke, GMH — Komplexe physikalische Berechnungen wie zum Strömungsverhalten von flüssigem Stahl finden heute als Simulationen statt (Abb. 1).
*Eike Runschke, GMH*

Grundsätzlich möchte man meinen, dass es genau dafür CPUs gebe: Sie sind als ein Stück Hardware so konzipiert, dass sie möglichst viele verschiedene Formen von Programmabläufen abarbeiten können, und das möglichst effizient. Doch ist Software selten so effizient wie die entsprechende optimierte Hardware. Deshalb gibt es in CPUs spezielle Register für AES-Verschlüsselung oder auf Netzwerkkarten das TCP-Offloading – eben, weil diese immer wiederkehrenden Funktionen jeden Tag tausend- und millionenfach aufgerufen werden und es sich lohnt, sie in Hardware auszulagern.