Saarbrücker Wissenschaftler beschleunigen Hadoop
Eine Art Query-Planner soll die Ausführung von Map/Reduce-Funktionen in Hadoop stark beschleunigen. Da er sich wie ein Plug-in in die freie NoSQL-Datenbank einklinkt, sind keine Änderungen an ihrem Quellcode oder an Anwendungen erforderlich.
- Christian Kirsch
Auf der zurzeit in Singapur stattfindenden VLDB-Konferenz präsentieren Saarbrücker Forscher Ergebnisse eines Projekts zur Beschleunigung der freien NoSQL-Datenbank Hadoop. Dazu klinken sie mit Hilfe dafür vorgesehener Hooks eine Art Query-Planner in Hadoop ein. Er wertet die vom Anwender benutzten Map/Reduce-Funktionen aus und ersetzt sie durch eigene Varianten, die dasselbe Ergebnis in kürzerer Zeit liefern sollen. Dadurch seien weder Änderungen an den Hadoop-Quellen noch an der für Anwendungen sichtbaren Schnittstelle nötig.
Im Gespräch mit heise online berichtete Projektleiter Professor Jens Dittrich von einer Beschleunigung durch Hadoop++ um das bis zu 18fache. "Das heißt, ein Server erledigt jetzt die Arbeit von vorher achtzehn." Zur Messung verwendeten die Wissenschaftler einen im vergangenen Jahr vorgestellten Benchmark. Er misst die Ausführungszeiten von typischen Map/Reduce-, relationalen und analytischen Fragestellungen. (ck)
