Markt + Trends | Data Science | iX

Neue Checkpoint-Einstellungen in Apache Flink

Das freie Streamprozessorframework Apache Flink ist in Version 1.14 erschienen und bietet neue Checkpoint-Operationen und einen Loopback-Modus.

Checkpoints erlauben es, den Zustand einer Flink-Anwendung zu speichern, um sie so fehlertolerant zu machen. Nutzer können Checkpoints jetzt auch in Anwendungen setzen, die teilweise abgeschlossen sind. Vor dem Update konnte man sie nur für laufende Anwendungen setzen. Zudem erhalten begrenzte Ströme nun einen finalen Checkpoint, sobald sie ihr Ende erreicht haben. Wenn Flink begrenzte Datenströme als Streams statt als Batches verarbeitete, stoppte bisher das Setzen von Checkpoints gegen Ende der Verarbeitung, sobald einige Tasks abgeschlossen waren.

Der neue Loopback-Modus soll das Debugging von Python-Funktionen in PyFlink vereinfachen. Normalerweise laufen diese in einem separaten Prozess neben der Flink-JVM. Der neue Modus ist nun standardmäßig in lokalen Deployments aktiviert. Damit lassen sich benutzerdefinierte Python-Funktionen im Python-Prozess des Clients ausführen.