Talend-Version für große Datenmengen
Durch plattformspezifische Binärkomponenten und Parallelisierung soll Talends Integration Suite MPX große Datenmengen besonders schnell integrieren und transformieren können.
- Christian Kirsch
Für die Integration und Transformation besonders großer Datenmengen soll sich Talends neue Filescale-Technik eignen, die Teil der Integration Suite MPX ist. Sie verwendet Google MapReduce-Verfahren, um die Datentransformation zu beschleunigen. Dazu setzt sie auf Komponenten, die für die jeweilige Plattform übersetzt sind – im Unterschied zu den üblicherweise von Talend verwendeten Java- und Perl-Modulen.
Weiteren Geschwindigkeitszuwachs sollen die Parallelisierung der Arbeit bringen sowie der Einsatz von datenbankspezifischen LOAD-Verfahren. Nach Angaben des Herstellers ließen sich so bis zu 1 Million Datensätze pro Sekunde im Speicher sortieren; kommen Plattenzugriffe ins Spiel, verarbeite die Software immer noch rund 220.000 Records pro Sekunde. Diese Angaben beziehen sich auf eine Sun X6270 mit zwei Xeon-Quad-Prozessoren 5250.
Die Integration Suite MPX ist erhältlich für Windows (32/64 Bit), Linux (32/64 Bit), Solaris (Sparc und Intel) sowie HP-UX. (ck)
