Emotion Tracking

Inhaltsverzeichnis

Champagner, Kuchen und Hunderte von bunten Luftballons spendierte das SIGGRAPH-Komitee den über 32 000 Teilnehmern aus aller Welt aus Anlaß des 25jährigen Jubiläums der Konferenz. Neben diesem Empfang und einer Celebration Party hatten sich die Veranstalter allerlei einfallen lassen, um vom 19. bis 24. Juli in Orlando angemessen zu feiern. So gab es außer dem wie üblich breit gefächerten Angebot an Tutorials, Kursen, Diskussionen, Ausstellungen et cetera beispielsweise das Digital Camp Fire und den Interactive Dance Club.

Am digitalen Lagerfeuer traten Computer-Pioniere als Erzähler in Erscheinung, um der jüngeren Generation aus erster Hand zu vermitteln, wie das Leben ohne 24-Bit-Displays ausgesehen hat. Für Entspannung sorgte der Interactive Dance Club, in dem weder Musikkonserven noch die Klänge einer Live-Band den Rhythmus vorgaben. Hier beeinflußten die Tänzer mit ihren Bewegungen die vordefinierten Klänge und visuellen Effekte. Zusammen mit Echtzeitsystemen, Infrarotsensoren, Videokameras und bewegungssensitiven Fußbodenpolstern sorgten sie so allabendlich für eine einmalige Performance.

Dieser spielerische Umgang repräsentiert die Veränderung, die sich in einem Vierteljahrhundert auf dem Gebiet der Computergrafik vollzogen hat. Auf den ersten SIGGRAPH-Veranstaltungen in den siebziger Jahren traffen sich nur einige hundert Spezialisten zu einem akademischen Erfahrungsaustausch. Bereits in den 80er Jahren erfreute sich die Konferenz eines deutlich höheren Zuspruchs. Zwischen 20 000 und 30 000 Interessierte finden sich seitdem alljährlich ein, um sich über die neuesten Entwicklungen und Trends in der Computergrafik zu informieren. Den Höhepunkt erreichte die SIGGRAPH im letzten Jahr in Los Angeles mit über 48 000 Teilnehmern, was wohl nicht zuletzt mit der Nähe zu den Filmstudios zu erklären ist. Computeranimationen haben mittlerweile ihren festen Platz in der Filmindustrie; man denke nur an Kassenschlager wie Titanic oder diverse Werbespots.

Kinder, die heutzutage aufwachsen, nehmen Computer als selbstverständlich gegeben hin. Diese Entwicklung spiegelt die SigKIDs-Initiative, die Computergrafikanwendungen für Kinder und von Kindern vorstellte. Dazu zählte auch die InterSpace Station, eine vernetzte Client/Server-Umgebung von NTT Soft (www.ntts.com), in der Studenten und Lehrer sich über das Leben an Bord einer Raumstation informieren konnten, die im Jahr 2003 in die Umlaufbahn der Erde befördert werden soll. Während einer Live-Schaltung hatten Schüler einer kalifornischen Schule Gelegenheit, sich mit denen, die sich in Orlandos Convention Center aufhielten, über das Web im virtuellen, 3dimensionalen Raum zu treffen und dort zu interagieren (s. Abb. 1).

Als generelle Einsatzgebiete ihrer für das Web konzipierten Software sieht NTT Soft, Tochterfirma von Nippon Telegraph und Telephone Corporation, außer den demonstrierten Online Communities und dem Unterricht über räumliche Grenzen hinweg Online-Spiele, wissenschaftliche Visualisierung und ECommerce. Für die Kommunikation zwischen den Clients und dem Server-Cluster benutzt die Firma zwei eigene Bibliotheken. Die Data Syntax Library (DSL) verpackt Datenstrukturen in einem Byte Stream, der von der Packet Library (IPL) auf wenige Pakete reduziert wird, die dann per TCP oder dem auf UDP basierenden Digital Video Transport Protocol Version 2 (DVTP2) verschickt werden. Bewegung und Interaktion der Anwender erfolgt auf der Client-Seite per Mausklick. Die Richtung, in der ein Teilnehmer den Cursor bewegt, gibt den Weg vor, auf dem sich sein Avatar - eine Audio/Videorepräsentation der Person - bewegt.

Daß ein solches Multiuser-System bereits in gößerem Maßstab eingesetzt wird, demonstrierte die Firma Muse Technologies, Albuquerque, (www.musetech.com) in Kooperation mit der NASA. Während einer Pressekonferenz arbeiteten NASA-Mitarbeiter in Orlando und Designer im Langley Space Center in Echtzeit über das Computersystem zusammen. Unter anderem wurde gezeigt, wie man über Reference Frames unterschiedliche Perspektiven schaffen kann, also beispielsweise den Blickwinkel vom Inneren einer Raumstation in die Erdumlaufbahn verlagern. Dieser Wechsel wird wie alle Aktivitäten, die einer der Beteiligten vornimmt, von allen Teilnehmern nachvollzogen. Die NASA will das auf Muse Continuum basierende System für Wartungs- und Analysezwecke einsetzen. Beispielsweise wäre es möglich, bei auftretenden Problemen Spezialisten, die sich nicht vor Ort befinden, heranzuziehen. Denkbar ist auch, eine aufgezeichnete Szene zurückzuverfolgen und so herauszufinden, wo eventuelle Anomalien in bezug auf die gesammelten Daten aufgetreten sind.

Verschmelzung von Realität und VR

Als `multi-sensory human-computer interface' bezeichnet Muse ihr neuestes Projekt. Mit Muse Office wollen sie das Zeitalter des `perceptual computing' einleiten. Das Arbeiten in einer virtuellen Welt soll ohne schwere Helme, Data Gloves oder andere störende Hilfsmittel möglich sein, so daß ein Benutzer beispielsweise in der Lage ist, einen Telefonanruf entgegenzunehmen, während er gleichzeitig in eine virtuelle Umgebung `eingetaucht' ist (immersive environment). Die Interaktion soll unter anderem mit Hilfe von Spracherkennung, dem Mapping von Audiodaten, Head Tracking und Pointing Devices wie Joysticks mit mehreren Freiheitsgraden erfolgen. Geplant ist die Bürosoftware als modular erweiterbares System.

`Natürliche' Benutzerschnittstellen

Als `augmented reality' soll VR die reale Welt erweitern. Der Versuch, einen nahtlosen Übergang zwischen beiden Sphären zu schaffen, war auch Thema diverser Forschungsprojekte, die im Rahmen sogenannter Sketches vorgestellt wurden. Man arbeitet an für die Benutzer unsichtbaren Schnittstellen, die von den natürlichen Kommunikationsmitteln des Menschen Gebrauch machen. Dazu zählt neben Sprache und Bewegung (Motion Tracking) auch die Übermittlung von Emotionen. Computer sollen künftig anhand von Mimik und Gestik des Benutzers dessen Gemütslage einschätzen und adäquat reagieren können. Fragt sich, ob wir noch bis zum Jahre 2001 warten müssen, bis sich HAL, der Supercomputer, in jeder Küche befindet. Zu den Problemen, die es vorher noch zu lösen gilt, zählt beispielsweise das Überbrücken der Koordinatensysteme von realer und virtueller Welt.

Angestrebt wird ein `ubiquitous computing', also der Umgang mit dem Rechner in jeder Lebenslage. Sei es mit Hilfe von `anziehbaren' (wearable) Computern, beispielsweise in Form von Kontaktlinsen oder implantierten (embedded) Chips: die Zukunftsvisionen lassen nichts aus. Was heute noch als Science Fiction erscheint, kann schon in wenigen Jahren zum Alltag gehören. Vor allem, seit sich die Unterhaltungs- und Spieleindustrie der Virtual Reality angenommen hat. Im neu eröffneten Disney Quest tummeln sich tagtäglich massenhaft Kinder und Erwachse von morgens bis Mitternacht in virtuellen Welten.

Wichtige Komponenten beim `natürlichen' Umgang mit Computern sind haptische Eingabegeräte, die Rückmeldungen darüber geben, mit welchen Materialeigenschaften die virtuellen Objekte behaftet sind. Dabei muß eine etwaige Widerstandsfähigkeit glaubhaft sein, das heißt, den Erfahrungen entsprechen, die der Benutzer mit dem realen Äquivalent gemacht hat, beispielsweise der Undurchdringlichkeit einer Wand. Zu den haptischen Stimulatoren zählen zudem Vibration, Temperatur und elektrische Ströme. Beim haptischen Rendering kann man analog zum grafischen vorgehen. Objekte lassen sich in einen haptischen Scene Graph übertragen, dessen Knoten eine Form, ein dynamisches Verhalten, eine physikalische Kraft, Transformationen und eine Benutzerschnittstelle repräsentieren. Mouse oder Joystick gibt es bereits ebenso wie thermische Handschuhe. In der SIGGRAPH-Abteilung `Enhanced Realities' waren Pantoffeln zu sehen, die eine Vibration zurückliefern, wenn man mit ihnen auf eine digitale Kakerlake tritt.

Eingabegeräte auf Künstler zugeschnitten

Ein Feedback-System für die Hand hat Virtual Technologies (www.virtex.com) vorgestellt. Über fünf an den Fingern befestigte Auslöser vermittelt CyberGrasp einen realistischen Eindruck von der Widerstandskraft und der Festigkeit virtueller Objekte. Speziell für CAD-Designer und Animatoren hat die kanadische Firma Haptic (www.haptech.com) PenCAT/Pro vorgestellt, einen mit Force Feedback ausgestatteten Stift. Das Eingabegerät soll ab dem zweiten Quartal 1999 für 689 US-$ zu haben sein und die Anwender in die Lage versetzen, Linien, Kanten und Texturen der Objekte, die sie entwerfen, zu fühlen.

Den künstlerischen Pinselduktus will die Firma Sensable (www.sensable.com) mit Amazon 3D Touch Paint in die digitale Welt übertragen. Das Eingabegerät übermittelt feinste Änderungen bezüglich Druck und Handbewegungen an die Software.

In der Erprobungsphase sind holographische Oberflächen, über die ein Anwender Objekte mit seinen Hände manipulieren kann. Die Verschiebung kann beispielsweise in Relation zu zwei Kontrollpunkten auf einer Bezier-Kurve erfolgen (www.csl.sony.co.jp/person/rekimoto/holowall/). Durch eine semitransparante Oberfläche wird vermieden, daß die HoloWall Handbewegungen nicht vom Hintergrund unterscheiden kann, eine Schwierigkeit, mit der auf Gestenerkennung ausgerichtete Systeme zu kämpen haben.

Diverse Beispiele für natürliche Benutzerschnittstellen waren in der Austellung für Kunst und `Touchware' sowie der Abteilung `Enhanced Realities' zu sehen. Dort konnten die Besucher beispielsweise erproben, wie es ist, wenn man nicht nur gegen seinen menschen Gegenpart Tischtennis spielt, sondern zusätzlich gegen den als `Packman' agierenden Tisch. Bei einem japanische Puzzlespiel dienten die in Echtzeit per Video aufgenommenen Köpfe der Spieler als Puzzleteilchen, die sich ständig änderten. Weniger fröhlich ging es in einer französischen CAVE-Installation zu, in der sich die Besucher durch eine dreidimensionale Landschaft bewegten, die ein Kriegsgebiet mit Panzern, Ruinen und Verwundeten darstellte. Wie ein Tourist konnte man Fotos schießen, allerdings mit einem Unterschied zur realen Welt: den fotografierten Ausschnitt nahm man als Teil der `Wirklichkeit' mit. Zurück blieb ein weißer Fleck als Sinnbild dafür, daß jeder seine Umwelt durch eigene Aktionen verändert.

Sojasoße dient als Basis für das haptische Interface des `Stream of Consciousness' der MIT Media Lab's Aesthetics and Computation Group (acg.media.mit.edu/projects/stream/). Besucher des interaktiven Zen-Gartens können den Fluß von Wörtern, den eine Kamera in strömendes Wasser projiziert, durch das Auflegen ihrer Hand stoppen und manipulieren. Per Druck auf das Touch Pad verdrängt der Benutzer mit seiner Hand die Sojasoße, die Schnittstelle wird lichtdurchlässig, die darunter angebrachte Kamera und Lichtquelle nehmen die Handbewegungen auf und dirigieren entsprechend einen Overhead-Projektor (s. Abb. 2).

Der Einsatz von VR in der Medizin wird bereits seit Jahren erprobt, beispielsweise bei der Behandlung von Phobien. Neuere Experimente untersuchen, inwieweit sich diese Technologie für die Linderung von Schmerzen einsetzen läßt. Ersten Ergebnissen zufolge eignen sich VR-Anwendungen gut dazu, die Aufmerksamkeit von Patienten, die sich einer sehr schmerzhaften Behandlung unterziehen müssen, abzulenken und so die Therapie zu unterstüzen. In einer Gruppe von 10 bis 14jährigen Brandopfern erreichte man in der Krankengymnastik einen bis zu 20 Prozent größeren Bewegungsspielraum als das bei einer Kontrollgruppe der Fall war, deren Ablenkung über ein Nintendo-Spiel erfolgte.

NT-Rechner auf dem Vormarsch

Solche Experimente, CAVE-Installationen, Immersive Workbenches oder Disneys VR-Abenteuer benötigen leistungsfähige Rechner im Hintergrund - heute in der Regel SGI-Workstations. Erste CAVE-Installationen soll es allerdings schon auf Basis von Intergraphs NT-Maschinen geben. Und auch Muse hat seine bisher nur für Unix-Rechner verfügbare Continuum-Software in einer NT-Version vorgestellt. IBM propagierte ihre Intellistation und gab diversen Partnern als Unteraussteller Gelegenheit, Grafiksoftware für NT zu zeigen. Allein bei Silicon Graphics war noch nichts vom angkündigten Visual PC zu sehen. `Wahrscheinlich Ende des Jahres', war die eher vage Auskunft.

Insgesamt versammelte die SIGGRAPH in diesem Jahr 327 Austeller. Weitere Meldungen in der iX 09/98.

Einigigkeit herrschte darüber, daß sich die Art und Weise, in der Menschen mit Computern interagieren, in den nächsten Jahren deutlich ändern wird. Voraussagungen holen VR aus dem Nischendasein und machen es zur Norm. Keynote-Redner Jim Blinn prognostizierte, daß man in wenigen Jahren die synthetischen nicht mehr von den realen Schauspielern werde unterscheiden können. Die Lacher hatte er auf seiner Seite, als er spekulierte, daß die SIGGRAPH 2003 komplett im virtuellen Raum angesiedelt sein werde.

Noch ist es nicht soweit. Die nächste Konferenz findet im Konferenzzentrum von Los Angeles in der Zeit vom 8. bis 13. August statt.