Yahoo stellt eigene Hadoop-Distribution ein
Der Fokus der Hadoop-Entwicklung bei Yahoo soll fortan wieder verstärkt beim Apache-Projekt zum Erstellen verteilt arbeitender Anwendungen selbst liegen.
- Alexander Neumann
Yahoo stellt die Entwicklung an der eigenen Hadoop-Distribution ein und wird sich fortan wieder verstärkt der Hadoop-Entwicklung unter dem Dach der Apache Software Foundation widmen. Das Internet-Unternehmen hatte die "Yahoo Distribution of Hadoop" im Juni 2009 vorgestellt mit dem Ziel, eine getestete und um Security- sowie Workflow-Management-Funktionen erweiterte Plattform für Firmen zu offerieren.
Hadoop ist ein Java-Framework zum Erstellen verteilt arbeitender Anwendungen, die umfangreiche Berechnungen auf großen Datenmengen in Clustern durchführen. Es implementiert Googles MapRduce-Algorithmus. Hadoop-Anwendungen sollen gut mit der Zahl der Knoten skalieren; Yahoo hat eigenen Angaben zufolge die größte Hadoop-Installation mit einem Cluster aus derzeit 40.000 Knoten im Einsatz.
In Zusammenarbeit mit dem Apache-Projekt möchten die Hadoop-Experten bei Yahoo nun die Voraussetzung dafür schaffen, dass die Binär-Releases des Frameworks so stabil ausgeliefert werden, dass sie andere Unternehmen produktiv nutzen können. In letzter Zeit sei die Apache-Domain nicht mehr die erste Adresse zum Download der Technik gewesen, schreibt Yahoo in der Ankündigung zur Neuausrichtung. Das ist eine Sache, die Yahoo mit der Unterstützung der Apache-Community verstärkt angehen will.
Siehe dazu auch:
- Oliver Fischer; Datenverarbeiter; Verarbeiten großer verteilter Datenmengen mit Hadoop, Artikel auf heise Developer
- Oliver Fischer; Datenverarbeiter #2; Verarbeiten großer verteilter Datenmengen mit Hadoop, ein Beispiel, Artikel auf heise Developer
(ane)
