Webentwicklung: Webapps mit Sprache, Mimik und Gestik steuern
Die Bibliotheken OpenCV und MediaPipe bringen Gesichts- und Gestenerkennung in den Browser. Wir zeigen, wie man beides in einer Webapplikation integriert.
Mit Bild- und Videoanalyse lassen sich neue Interaktionsmöglichkeiten in eine Webapplikation integrieren. Diese Techniken ergänzen vorhandene Browserschnittstellen wie die WebXR-Schnittstelle in Virtual-Reality- und Augmented-Reality-Applikationen, um diese besser in die Umgebung der Nutzer einzubetten. Nutzer können die Applikationen dann nicht nur über traditionelle Eingabemechanismen wie Maus und Tastatur, sondern auch über Objekte in der realen Welt oder über Bewegungen steuern. Dieser Artikel zeigt, wie man mit den Bibliotheken OpenCV und MediaPipe Gesten- und Gesichtserkennung in eine Webapplikation integriert.
Applikationen können so möglichst viele ansprechen und unabhängig von der Umgebung funktionieren. Allerdings setzen einige Browser noch nicht alle Schnittstellen um. Bei der WebXR-Schnittstelle hinken Safari und Firefox mit der Entwicklung hinterher. Chrome spielt hier die Vorreiterrolle und unterstützt Hit Testing und die Ambient Light API. Doch erst neue Browserschnittstellen in Kombination mit WebGL und WebAssembly sowie externen Bibliotheken führen zu Innovationen bei der User Experience.
Das war die Leseprobe unseres heise-Plus-Artikels "Webentwicklung: Webapps mit Sprache, Mimik und Gestik steuern".
Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Nur bis zum 31. Mai: heise+ 1 Jahr für nur 1,90 pro Woche lesen. Unbegrenzter Zugriff auf alle heise+ Artikel inklusive allen Digital-Magazinen.Länger lesen, mehr sparen: heise+ 1 Jahr lang für nur 1,90 € pro Woche lesen und brandaktuelles IT- und Tech-Wissen sichern. Zugriff auf alle heise+ Artikel inklusive der Digital-Magazine. Nur bis zum 31. Mai!