Intels Hadoop-Distribution unterstützt Lustre
Ohne dass Intel darum viel Aufheben gemacht hat, können nun HPC-Experten mit der Intel Distribution for Apache Hadoop Software auch Lustre als File-System verwenden.
- Alexander Neumann
Intel führt seit diesem Frühjahr eine eigene Hadoop-Distribution im Portfolio. Die Intel Distribution for Apache Hadoop Software ist primär für Intels Xeon-Prozessoren angedacht. Das bei der Apache Software Foundation betriebene Hadoop ist ein Java-Framework für skalierbare, verteilte Systeme, das den durch Google bekannten MapReduce-Ansatz nutzt. In der kürzlich veröffentlichten Version 2.5 der Intel-Distribution wurde einem Artikel von The Register zufolge nun die Unterstützung für das parallele, verteilte Dateisystem Lustre ergänzt.
Die Ergänzung macht insofern Sinn, dass Lustre vorrangig im High-Performance Computing eingesetzt wird, einer Domäne, bei der Intel traditionell viele Kunden hat. Hadoop selbst verwendet HDFS (Hadoop File System), das aber nicht nur von Hadoop-Experten wie MapR als nicht immer geeignet angesehen wird, sondern auch im HPC-Bereich schon gar nicht verbreitet ist.
Im HPC-Umfeld sind die Anwender mit Lustre oder IBMs GPFS (General Parallel File System) vertraut. Oft nimmt Hadoop auch nur einen kleinen Teil einer HPC-Anwendung ein, sodass die HPC-Spezialisten nicht gerne dafür die Umgebung verlassen. Diese könnten nun mit Intels Hadoop-Distribution weiterhin ihr gewohntes File-System verwenden und müssen dabei nicht auf die Features von Hadoop verzichten. (ane)
