Guten Touch
Mit Apples iPhone ist Multi-Touch in die Jackentaschen vorgedrungen. Größer und vielfältiger präsentiert sich diese Technik in Form von Multi-Touch-Tischen, die es mehreren Nutzern erlauben, miteinander zu interagieren. Unternehmen und Forschungseinrichtungen beschäftigten sich mit der Markteinführung und der Entwicklung von interaktiven Anwendungen.
- Barbara Lange
Was es in Science-Fiction-Filmen schon seit Jahrzehnten gibt, ist mittlerweile – zumindest zum Teil – Realität. Benutzer interagieren mit einer Computeroberfläche per Multi-Touch. Die Technik ist da, und immer mehr Unternehmen und Forschungseinrichtungen untersuchen, wo sie sich sinnvollerweise einsetzen lässt, und entwickeln entsprechende Anwendungen.
Im Unterschied zu herkömmlichen Touchscreens wertet die Multi-Touch-Technik mehrere Berührungspunkte aus. Microsoft spricht von 52 Punkten, die sein Multi-Touch-Tisch namens Surface (siehe iX-Links) gleichzeitig erkennen kann. Technisch arbeitet Surface mit fünf Infrarot-Kameras und erkennt alles, was Infrarot reflektiert, also auch Gegenstände. Infotainment und Visualisierung sind die Hauptanwendungsbereiche, für die Microsoft seinen Surface konzipiert hat. Ein Arbeitsgerät für kollaborative Entwicklung hingegen ist der Tisch nicht, betont Clemens Lutsch, User Experience Evangelist bei Microsoft und dort verantwortlich für Surface.
(Bild: DFKI)
Als eine der Herausforderungen für die Anwendungsentwicklung nennt Lutsch derzeit die Frage, ob Softwareentwickler diese Technik annehmen und interaktive Applikationen entwickeln. Nicht für alle Einsatzszenarien eignet sich der Multi-Touch-Ansatz. "Aber Edutainment-Lösungen, Management-Information-Systeme, Kollaborationslösungen, Healthcare und Datenvisualisierungen erhalten neue Interaktionsmöglichkeiten, die erkundet werden wollen", so Lutsch gegenüber iX.
In einem Video demonstriert er einige derzeit verfügbare Anwendungsbeispiele: Eine Surface-Variante von Virtual Earth unterstützt Hotelbesucher beim Suchen spezieller Orte oder Gebäude. Nutzer können Multimedia-Inhalte wie Fotos oder Musik gemeinsam betrachten, abspielen oder verschieben. Bluetooth-Handys können über den Tisch Bilder, Klingeltöne oder Kontaktdaten austauschen. Eine Visualisierung medizinischer 3D-Daten hilft bei der Kommunikation zwischen Arzt und Patient. Als Sicherheits-Feature dient ein Domino-Tag, der ein Muster enthält. Eine Applikation erkennt ein Objekt mit einem Tag und bindet sie in die Interaktion ein.
Alle geeigneten Anwendungen müssen Entwickler mit dem Surface Software Development Kit speziell für die Hardware entwickeln. Auf der Microsoft TechEd 2009 stellte das Unternehmen laut Blog das Service Pack 1 für das SDK vor. Das SDK unterstützt die Entwicklung auf jedem .Net Framework und wurde für Windows Presentation Foundation (WPF) sowie für XNA, Microsofts Framework für die Spieleentwicklung, optimiert.
Annäherung an den Massenmarkt
Surface befindet sich in Deutschland zurzeit in der Einführungsphase. Mit derzeit 18 Partnern will das Unternehmen die Vermarktung und die Entwicklung von Applikationen vorantreiben. Als Zielgruppe sieht Microsoft zunächst Hotels, Beratungshäuser und Agenturen, die verkaufsfördernde Maßnahmen durchführen wollen. Für Endanwender wäre der Tisch mit einem Preis von circa 11 000 Euro wohl noch zu teuer.
Eine Annäherung an den Massenmarkt plant der Hersteller mit Windows 7, denn dieses neue Betriebssystem soll den Ankündigungen zufolge die in Surface vorgestellte Multi-Touch-Technik enthalten, die es Nutzern erlaubt, auch Standardprogramme mit ihren Fingern zu steuern.
Wie Kollaboration und Interaktion in Zukunft aussehen können, damit beschäftigen sich Wissenschaftler an verschiedenen Forschungseinrichtungen. Am Deutschen Forschungsinstitut für künstliche Intelligenz (DFKI) nutzt ein Team die Multi-Touch-Technik für das sogenannte Web 3.0: Nutzer sollen intuitiv durch semantische Inhalte navigieren können, ohne sich um explizite Suchabfragen kümmern zu müssen. Im Projekt "CoMET" (Collaborative Media Exchange Terminal) geht das so: Nutzer legen WLAN-fähige mobile Geräte auf den Multi-Touch-Tisch, der die Multimedia-Dateien in seinen Speicher lädt und zum Austausch bereitstellt.
Anschließend erscheint eine Liste der verfügbaren Dateien auf dem Tisch, der ja ein Bildschirm ist. Klar, dass man Musik oder Videos nun verschieben und abspielen kann. Im Projekt CoMET sind die Dateien zusätzlich semantisch annotiert, und es gibt YouTube- oder MP3-Spotlets. Das sind nicht einfach nur Fenster, in die man eine Multimedia-Datei hineinschiebt, sondern intelligente Agenten mit einer unabhängigen Logik, die die Medien mit ihrem Kontext vernetzen. So kann etwa ein YouTube-Spotlet zusätzliche Videos anbieten. Ein anderes Beispiel ist ein Push-to-Talk-Spotlet, das ein Mikrofon für die Interaktion per Sprache öffnet.
Eine Herausforderung bei der Realisierung des Projekts mit Multi-Touch-Technik war es, die einzelnen Aktionen der Benutzer zu trennen, sodass jeder arbeiten kann, unabhängig davon, was der andere tut. Ziel des CoMET-Projekts ist die Entwicklung eines Framework, das Techniken des semantischen Internet nutzt und unterschiedliche Medieninhalte verarbeiten und austauschen kann.
CoMET ist ein Ergebnis von Theseus, ein vom Bundesministerium für Wirtschaft und Technologie gefördertes Projekt. Ziel ist die Entwicklung einer Infrastruktur, die die Nutzung des im Internet vorhandenen Wissens erleichtern soll.
Neue Wege der Interaktion erforschen
Um eine Verbesserung der Hardware und um Kollaboration geht es den Wissenschaftlern am Technologie-Zentrum Informatik und Informationstechnik (TZI) in der Universität Bremen. Sie haben den Multi-Touch-Tisch mrT (Mixed Reality Table) entwickelt – obwohl sie eigentlich gar keinen eigenen Tisch bauen wollten. Aber sie hatten für die Erforschung neuer Interaktionskonzepte vergeblich bei Microsoft angefragt.
Mit dem eigenen mrT wollen sie nun auf den Markt gehen und suchen Industriepartner. Der Tisch soll schätzungsweise 20 000 Euro kosten. Als Besonderheit des mrT nennen die Wissenschaftler Merkmale wie eine Bilddiagonale von 130 cm und eine Full-HD-Auflösung. Ein aufwendiges Spiegelsystem ermöglicht eine verzerrungsfreie Darstellung. Im Unterschied zu anderen Systemen nutzt der mrT nur eine einzige Kamera.
Nutzer können gleichzeitig Berührungen, Gesten und reale Objekte auf dem Tisch für ihre Interaktion nutzen. Sensoren erfassen an der Außenseite des Tisches die Position der verschiedenen Nutzer. Da das System Handgesten erkennt, können auch mehrere Personen miteinander interagieren, ohne den Tisch zu berühren.
Im Rahmen der Interaktionsforschung beschäftigt sich das Team derzeit schwerpunktmäßig mit den Perspektiven für neue Anwendungen, die mehrere Personen gleichzeitig bedienen können, um das Potenzial der Multi-Touch-Technik auszunutzen. Das TZI hält unter anderem das 3D-Design – insbesondere im Hinblick auf schnelle 3D-Visualisierung – hierfür geeignet.
Als Zielgruppe für den mrT sehen die Mitarbeiter des TZI Architekten, Stadt- und Landschaftsplaner, die Pläne und Skizzen interaktiv verändern können. Autohäuser können gemeinsam mit den Kunden am Bildschirm das gewünschte Auto zusammensetzen, Musiker gemeinsam komponieren.
Multi-Touch als Synthesizer nutzen
Einen Synthesizer in Form eines Multi-Touch-Tisches, der auf Messen und Ausstellungen immer wieder für Faszination sorgt, haben Wissenschaftler an der Universität Pompeu Fabra in Barcelona entwickelt. Mit dem "Reactable" (Abb. 2) können mehrere Nutzer kollaborativ und live elektronische Musik komponieren.
(Bild: Reactable)
Physische Objekte wie Kreise oder Würfel erzeugen Sound und verändern ihn. Eine Videokamera hinter der Glasscheibe des Multi-Touch-Tisches beobachtet das Geschehen, erkennt die Objekte auf dem Tisch und setzt sie in Musik um. So wird ein Synthesizer mit WOW-Effekt bühnenfähig. Die isländische Sängerin Björk hat bereits 2007 einen dieser Synthesizer als Musikinstrument auf ihre Tournee mitgenommen.
Auf der Musikmesse Frankfurt im April dieses Jahres kündigte das spanische Unternehmen Reactable sein gleichnamiges Gerät zum Kauf an – erste Exemplare will man zunächst on Demand für Museen, Clubs oder Studios produzieren. In einem auf YouTube veröffentlichten Interview im Rahmen der Frankfurter Musikmesse lassen die Entwickler verlauten, dass sie Ende des Jahres eine Bühnen- und Konzertversion anbieten wollen.
Zurück zum Knopf oder völlig touchless
Intuitive Interaktion schön und gut. Oft aber fehlt den Nutzern das Feedback vom Gerät. Der entscheidende Klick. Mit "SLAP Widgets" (Silicone Illuminated Active Peripherals) hat die Media Computing Group der RWTH Aachen die Multi-Touch-Technik durch eine weitere Dimension ergänzt.
Physikalische Buttons, flexible Tastaturen aus Silikon, die man einfach auf den Multi-Touch-Tisch legt, erkennt das System durch visuelle Marker an der Unterseite und verbindet sie mit der Anwendung, die sie steuern soll. So kann der User beispielsweise einen Text über eine physische, elastische und transparente Tastatur eingeben oder physische Knöpfe auf dem Multi-Touch-Tisch andocken. Dadurch erhält er ein haptisches Feedback und bekommt ein Gefühl dafür, ob er den Knopf wirklich gedrückt hat oder nicht.
Wer überhaupt nichts mehr anfassen will, kann das Open Source Software Development Kit namens "Touchless" ausprobieren, das Microsoft Research kostenlos ins Netz gestellt hat. Die Software benötigt eine handelsübliche Webcam, die die Bewegung farbiger Gegenstände in den Händen des Nutzers verfolgt, mit deren Hilfe er seine Anwendungen steuert. Sie steht unter der Microsoft Public License (Ms-PL) und läuft nur unter Windows.
Barbara Lange
ist IT-Journalistin und Inhaberin des Redaktionsbüros kurz&einfach in Lengede.
In der Printausgabe lesen Sie außerdem je einen Artikel zur Programmierung für die Spielkonsole Wii (mit der WiiFlash-API) und das iPhone.
