Kompatibilitätstests für Sqoop, Flume und Kafka in Arbeit
Cloudera lanciert Initiativen zur Entwicklung von API-Kompatibilitätstests für diverse Big-Data-Projekte. Nutzer sollen damit die Gewähr haben, dass ihre Entwicklungen kompatibel mit den Releases der Apache Software Foundation sind.
- Alexander Neumann
Hadoop-Distributor Cloudera steht einer Initiative vor, die die Entwicklung von API-Kompatibilitätstests für die beiden Apache-Projekte Sqoop und Flume beschleunigen soll. Sqoop ist ein Datentransfer-Tool zwischen dem Big-Data-Framework Apache Hadoop und SQL-Datenbanken. Flume hingegen stellt die Möglichkeit bereit, Daten aus verschiedenen Quellen verteilt in unterschiedliche Datenspeicher zu transportieren. Das können unter anderem Datenbanken, aber auch Indizes von Suchmaschinen wie ElasticSearch sein.
Im Zuge der API-Kompatibilitätsinitiative arbeiten Cloudera, aber auch Unternehmen wie Accenture, Couchbase, Intel, SAS und Tibco an hierfür benötigten Test-Framewoks. Der Schritt erfolgt vor dem Hintergrund, dass Entwickler derzeit keinen Zugang zu Open-Source-Tools zum Validieren der Kompatibilität ihrer Implementierungen mit Sqoop und Flume haben. Mit den Frameworks sollen Anwender die Sicherheit erhalten, dass jedes Produkt, das diese Tests besteht, kompatibel mit den Releases der Apache Software Foundation ist.
Eine vergleichbare Initiative strebt Cloudera außerdem gemeinsam mit Confluent für Apache Kafka an. Das von Confluent gestartete Projekt ist wie Flume ein verteiltes, skalierbares und fehlertolerantes System zum Transport von Daten, das aber anders als Flume auf einem Publish-Subscribe-Modell aufbaut. Das entstehende Framework soll als Teil des Kafka-Projekts veröffentlicht werden. (ane)
