Mulsemedia: “Seeing is believing, but feeling is the truth.”
Multimedia war gestern, „Mulsemedia“ ist die Zukunft. Heute wird mehr denn je zu den „Mehr-Sinne-Medien“ geforscht. Die Ergebnisse werden unsere Medienerlebnisse der Zukunft verändern.
Der Mensch ist gewohnt, seine Umwelt mit all seinen Sinnen zu erfahren. Die meisten Multimedia-Inhalte setzen auf Ton und Bild, Mulsemedia (multiple sensorial media) bietet hingegen den Nutzerinnen und Nutzern einen Medienkonsum, der drei oder mehr Sinne anspricht. Entsprechende Versuche hat es bereits in der nicht-digitalen Welt gegeben: „Das erste Mulsemedia-Event kennen wir aus dem Jahr 1906. Damals wurden erstmals künstlich hergestellte Gerüche mit einem audiovisuellen Inhalt kombiniert. Der konkrete Anlass war die Ausstrahlung des ‚Rose Bowl’-Football-Spiels, bei dem der Geruch von Rosen in den Zuschauerraum gesprüht wurde“, erklärt Christian Timmerer (Institut für Informationstechnologie), der zu Mulsemedia forscht.
1943 hat Hans Laube in seinem 35-minütigen „smell-o-drama“ mit dem Titel „Mein Traum“ 35 verschiedene Gerüche bei der Präsentation seines Filmes eingespielt. 1959 gelang ähnliches mit einer Dokumentation über China mit dem Titel „Behind the Great Wall“. Damals kam die AromaRama-Präsentation zum Einsatz, bei der die Klimaanlage des Kinos genutzt wurde, um über 30 Gerüche einzuspielen. Vier Sinne wurden erstmals 1962 von Morton Heilig mit seinem „Sensorama“ angesprochen, mit dem er eine virtuelle Radtour durch Brooklyn, New York, anbot: Vibrationen, Geräusche, Luftströme und Gerüche waren Teil des Mulsemedia-Erlebnisses.
Ausgangsbasis für alle technischen Überlegungen ist die Biologie: Aristoteles‘ traditionelle fünf Sinne Sehen, Hören, Tasten, Riechen und Schmecken ermöglichen durch die Funktionen der Organe und des Gehirns stets eine kohärente Wahrnehmung. „Wahrnehmung ist nicht etwas, das einfach geschieht, sondern besteht aus einer komplexen Kombination von Schritten der sinnlichen Aufnahme und kognitiven Verarbeitung. Wir müssen also verstehen, wie der Mensch multisensuale Medien interpretiert, wahrnimmt und akzeptiert, um passende technische Systeme entwickeln zu können“, so Timmerer.
Technische Lösungen gibt es bereits in vielen Feldern. Dazu gehört die Verknüpfung von audiovisuellen Inhalten mit Gerüchen, die unter anderem bei Trainingsprogrammen für Feuerwehrleute, aber auch bei Computerspielen zum Einsatz kommen. „Bei all diesen Innovationen müssen wir uns immer fragen, wie die Formate bei den Nutzerinnen und Nutzern ankommen. Wir fragen also nach der Erlebnisqualität, der so genannten ‚Quality of Experience‘“, erläutert Timmerer. Eine der Herausforderungen ist Synchronität: Nur wenn die Impulse auf die Sinne synchron ablaufen, hat die Nutzerin oder der Nutzer auch die Möglichkeit, die Inhalte kohärent wahrzunehmen.
Wer dabei glaubt, Mulsemedia wäre nur etwas für die Unterhaltungsbranche, irrt: Entsprechende Anwendungen kommen zwar ursprünglich aus der Filmbranche, sie werden aber auch für therapeutische Maßnahmen genutzt. Lernschwierigkeiten, aber auch die Symptome von Autismus, Alzheimer und Demenz können mit Hilfe von multisensualen Medienangeboten behandelt werden. Ein Beispiel dafür ist das Londoner Oily Theatre, das multisensuale Vorstellungen exklusiv für Kinder mit komplexen Behinderungen und Autismus anbietet.
Für die technische Weiterentwicklung von Mulsemedia hat man sich auf einen Standard, den so genannten „MPEG-V“, geeinigt, der die Entwicklung kompatibler Innovationen ermöglichen soll. Christian Timmerer hat den Standard entscheidend mitentwickelt und erklärt dazu: „Grundsätzlich gehen wir davon aus, dass solche Inhalte über klassische DVD- oder Blueray-Spieler abgespielt werden. Zusätzlich braucht es Geräte, die die Sinneseffekte produzieren, also Gerüche mixen und ausgeben, Vibrationen erzeugen oder Wind imitieren. Dazu müssen wir eine Sprache entwickeln, die den Geräten die Inhalte aus den Filmen vermittelt. Hier gibt es im MPEG-V-Standard die so genannte ‚Sensory Effect Description Language‘, auf die aufgebaut werden kann.“ Entsprechende Tools, um die Erlebnisqualität bei Mulsemedia- Angeboten zu evaluieren, hat unter anderem Christian Timmerer mit seinen Kolleginnen und Kollegen entwickelt. Die Schwierigkeit ist dabei, so der Informatiker, die subjektive Wahrnehmung so zu erfassen, dass auch objektiv relevante Aussagen getroffen werden können. In bisherigen Untersuchungen kam man unter anderem zum Ergebnis, dass Mulsemedia- Angebote insbesondere bei Action-Filmen, Sport und Dokumentationen gut ankommen, während sie bei Werbung und speziellen Nachrichten weniger geschätzt werden. Andere Studien zeigten auf, dass die Intensität aktiver Emotionen (wie Interesse, Überraschung, Spaß) durch multisensuale Inhalte verstärkt, bei passiven Emotionen (wie Sorge, Angst, Ärger) aber verringert wird. „Hier sehen wir aber noch umfassende Forschungspotenziale“, fasst Timmerer zusammen.
für ad astra: Romy Müller
Nachgefragt bei Christian Timmerer
Welche Sinne funktionieren in Mulsemedia schon gut, welche noch nicht?
Die meiste Arbeit ist bisher in die Verarbeitung von Ton und Bild geflossen. Auch bei Geruch und Tasten sind wir bereits ziemlich weit. Wenn es aber um die mediale Vermittlung von Geschmack geht, sind wir noch am Anfang. Weil die entsprechenden Sinne im Mund lokalisiert sind, wird ein entsprechendes Gerät auch „invasiv“ sein müssen. Die Zukunft wird aber zeigen, ob man über den Geruchssinn auch Geschmack vermitteln kann.
Bisher sind Mulsemedia-Systeme noch nicht im Alltag der Menschen angekommen, oder?
Nein, beispielsweise finden wir 4D- und 5D-Theater noch immer nur als Attraktionen in Themenparks. Diese Technologien sind noch nicht in den Wohnzimmern angekommen. Außerdem arbeitet die Forschung auch daran, Mulsemedia auch in mobile und tragbare Geräte (wie beispielsweise die Google-Brille) einzuarbeiten.
Was sind zukünftige Anwendungsfelder, die es noch auszubauen gilt?
Ein Beispiel ist das E-Commerce: Irgendwann sollte es möglich sein, den Stoff eines T-Shirts, das man online kaufen möchte, auch zu fühlen. Oder ein Parfum zu riechen. Auch für E-Learning-Systeme wäre Mulsemedia sinnvoll: Chemiestudierende könnten über E-Learning Gerüche übertragen bekommen.
