Ton-Bild-Relationen in der interaktiven Kunst

von Katja Kwastek

1 Die Entwicklung des Interaktionsbegriffs

2 Das offene Kunstwerk: vom Konzept zu ersten Realisierungen

3 Früher Einsatz von Technologie in den Künsten: Intermedia

4 Vom Objekt zum Event: Aktionskunst

5 Erste technische Wechselwirkungen in der kybernetischen Kunst

6 Der Weg zum manipulierbaren Bild: Videokunst

7 Pioniere der interaktiven Kunst

8 Frühe Konzepte des Pattern Playback

9 Audiovisuelle Interaktionen im digitalen Medium: Pattern Playback

10 Audiovisuelle Interaktionen im digitalen Medium: interactive widgets

11 Audiovisuelle Interaktionen im digitalen Medium: vom Mischpult zum Musictable

12 Neue Experimente in der interaktiven Tonvisualisierung



Abstract

Die ersten künstlerischen Projekte, die zur Interaktion mit audiovisuellen Systemen einladen, sind – nach Vorformen in den klassischen Avantgarden – in den 1950er und 1960er Jahren zu finden. Durch partizipative Assemblagen, Aktionskunst, Performance, kinetische und kybernetische Kunst wurde der klassische objektorientierte Werkbegriff zugunsten eines stärker prozess- und ereignisorientierten Werkverständnisses infrage gestellt. Dies führte zu einer verstärkten Aktivierung der Rezipienten sowie zur Einbeziehung von mechanischen Elementen und elektronischen Medien. Die ersten Systeme, die eine technologisch unterstützte Interaktion anbieten, basieren fast ausschließlich auf akustischem Input und generieren Bewegung, Licht und/oder Klänge als Output. In den 1960er und 1970er Jahren wurde dann einerseits – mit der Verbreitung der Videotechnologie – die Echtzeit-Wiedergabe und -Manipulation bewegter Bilder möglich, andererseits ermöglichten die Fortschritte der Computertechnologie eine Echtzeit-Interaktion zwischen Mensch und Computer sowie erste grafische Darstellungen. Dies war die Voraussetzung für digitale Systeme mit aufwändig programmierten Feedbackprozessen, wie sie in den 1970er und 1980er Jahren etwa durch Myron Krueger und David Rokeby entwickelt wurden. War hier noch eine Konzentration auf die Manipulation von entweder visuellen oder akustischen Informationen zu beobachten, so wird seit den 1990er Jahren die gekoppelte Manipulation akustischer und visueller Informationen als Partizipationsangebot für Rezipienten interaktiver Kunstprojekte realisiert. Künstler wie Toshio Iwai oder Golan Levin und Zachary Lieberman entwickeln seitdem verschiedenste interaktive Kunstprojekte, die auf meist abstrakten, oft auch assoziativen Relationen von Tönen mit Farben und Formen basieren, welche im Interaktionsprozess aktiviert, manipuliert oder sogar erst generiert werden.

 

1 Die Entwicklung des Interaktionsbegriffs

Im allgemeinen Sprachgebrauch wird Interaktion zur Bezeichnung von Wechselwirkungen verwendet: Das Dictionary of Philosophy and Psychology definiert bereits 1901 interaction als: The relation between two or more relatively independent things or systems of change which advance, hinder, limit, or otherwise affect one another und bezieht diese sowohl auf Körper-Geist-Relationen als auch auf Wechselwirkungen von Objekten in und mit der Umwelt.[1]

Nach dieser auch heute noch relevanten, allgemeinen Definition sind sämtliche Ton-Bild- Kombinationen, die auf Wechselwirkungen zwischen auditiven und visuellen Informationen basieren, Interaktionen. Allerdings hat sich im Laufe des 20. Jahrhunderts in den verschiedenen Wissenschaftsdisziplinen ein spezifischerer Gebrauch des Begriffs durchgesetzt. Während die Soziologie unter Interaktionen vornehmlich Beziehungen zwischen Menschen versteht, wird Interaktion in der Computer- und Medienwissenschaft vor allem im Hinblick auf das Mensch-Maschine-Interface behandelt.[2] Um Letzteres soll es auch in diesem Beitrag gehen, fokussiert auf künstlerische Projekte, die zur Interaktion mit audiovisuellen Systemen einladen.

2 Das offene Kunstwerk: vom Konzept zu ersten Realisierungen

Bereits die Avantgarden der ersten Hälfte des 20. Jahrhunderts stellten den klassischen objektorientierten Werkbegriff zugunsten eines stärker prozess- und ereignisorientierten Werkverständnisses infrage: Futuristen und Dadaisten inszenierten ihre Opposition zum traditionellen Kunstbegriff in provokativen Manifesten und Spektakeln. Dadaismus und Surrealismus setzten auf Zufallselemente im Prozess der Werkentstehung, sei es durch die Einbeziehung von Alltagsmaterialien oder den psychischen Automatismus der écriture automatique. Jackson Pollock führte diese Ideen im Rahmen seiner Action Paintings dann in die vollständige Abstraktion, womit der Prozess der Werkentstehung endgültig ins Zentrum der Arbeiten gerückt war.

Das künstlerische Interesse an Prozessen sowie an vom Künstler nicht kontrollierbaren Faktoren der Werkentstehung legte eine Auseinandersetzung mit der Rolle des Publikums und seiner Rezeptionstätigkeit nahe. Robert Rauschenberg betonte 1951 anlässlich der Ausstellung seiner vollständig monochromen White Paintings, die Gemälde seien nicht passiv, sondern hypersensitiv, da sie z. B. durch Schattenwurf anzeigten, wie viele Personen im Raum seien, oder je nach Tageszeit anders erschienen. Es sei irrelevant, dass er diese Bilder gemacht habe: Today is their creator.[3] John Cage, enger Freund Rauschenbergs, übertrug diese Ideen in die Musik, u. a. mit seinem berühmten Stück 4′33″ (1952), dessen Partitur lediglich Zeitfenster zur Wahrnehmung von Umgebungsgeräuschen festlegt. Marcel Duchamp formulierte plakativ, daß ein Werk vollständig von denjenigen gemacht wird, die es betrachten.[4] Theoretisch aufgearbeitet wurden diese Entwicklungen zuerst durch Umberto Eco, der 1962 in seinem Buch Opera aperta (Das offene Kunstwerk) literarische, musikalische und bildende Kunstwerke beschrieb, die gekennzeichnet sind durch die Einladung, zusammen mit ihrem Hervorbringer das Werk zu machen.[5]

3 Früher Einsatz von Technologie in den Künsten: Intermedia

Das neue Interesse an Zufallselementen und prozessualer Öffnung künstlerischer Arbeiten führte auch zu einer Einbeziehung technischer Apparate, die einerseits Prozesse strukturieren oder vermitteln, andererseits als unausschöpfbarer Lieferant von Klängen – und später Bildern – dienten. Diesmal war es John Cage, der zuerst Radios und Tonbandgeräte in seine Kompositionen einband und damit die bildenden Künstler inspirierte: Mitte der 1950er Jahre begann auch Robert Rauschenberg in seinen so genannten Combine-Paintings mit technischen Komponenten (Beleuchtung, Ventilatoren, Radios) zu experimentieren. Sein Kontakt zu dem Ingenieur Billy Klüver führte schließlich 1966 zu den berühmten 9 Evenings (Theatre and Engineering), einer Reihe von Veranstaltungen, in denen Performer, Musiker und bildende Künstler gemeinsam mit Ingenieuren technisch aufwändige, multimediale Performances konzipierten und realisierten. Rauschenberg selbst inszenierte unter dem Titel Open Score ein Tennismatch, das er zur Steuerung der Beleuchtung und als Orchester[6] einsetzte. Auf den Schlägern waren Mikrofone installiert, die die Vibration der Schlägerbespannung aufnahmen und über UKW-Sender an Lautsprecher übermittelten. Jedes Geräusch aus den Lautsprechern führte wiederum zur Abschaltung eines der Scheinwerfer, die das Spielfeld beleuchteten. Auch andere Künstler der 9 Evenings experimentierten mit Bild-Ton Interaktionen, etwa David Tudor, der in Bandoneon! mittels des gleichnamigen Musikinstruments Lichtquellen, Videobilder und Sound steuerte.

Interaktion beschränkte sich bis dahin entweder auf den Umgang eigens instruierter Performer mit technischen Apparaturen oder die Einbeziehung von Betrachtern vor allem durch eine – akustische oder visuelle – Spiegelung ihrer Anwesenheit. Rauschenberg schuf jedoch in den 1960er Jahren auch installative Arbeiten, die tatsächliche Aktionen der Besucher erforderten, etwa Oracle (1962–1965), ein Skulpturenensemble, das lokale, von den Besuchern regelbare Radiofrequenzen abspielte, oder die raumgreifende Installation Soundings (1968): Sie besteht aus drei großen, hintereinander gestaffelten Plexiglasscheiben, von denen die vordere verspiegelt ist, während auf den anderen beiden Fotos von Stühlen zu sehen sind. Zwischen den Scheiben sind Lichter angebracht, deren Helligkeit je nach durch die Besucher erzeugtem Geräuschpegel und Tonhöhe variiert und somit unterschiedlich deutliche Blicke durch die verspiegelte Scheibe auf die Motive zulässt. Billy Klüver erläutert die Wirkung von Soundings: Bei Soundings befindet man sich in einem halbdunklen Raum allein seinem eigenen Bild gegenüber. Will man das Dunkel bannen, muss man laut mit sich selbst sprechen – eine unangenehme Sache, wenn man sich in der Öffentlichkeit befindet.[7] Die auf aktiver Einbeziehung von Technologie basierenden Arbeiten der 1960er Jahre werden – nach einer Wortschöpfung des Fluxus-Künstlers Dick Higgins – häufig mit dem Begriff Intermedia bezeichnet, da sie die disziplinären Grenzen sowohl innerhalb der Künste als auch zwischen Kunst und Technologie aufbrechen. Interaktionen – sowohl zwischen Menschen als auch mit und innerhalb von technischen Systemen – sind zentraler Bestandteil dieser Arbeiten.

4 Vom Objekt zum Event: Aktionskunst

Während die interaktiven Arbeiten Rauschenbergs exemplarisch zeigen, wie Betrachterpartizipation an weiterhin materiell fassbaren Werken realisiert werden kann, stellt die Aktionskunst das objekthafte Werk selbst infrage: Allan Kaprow und George Brecht konzipierten Happenings und Events mit sehr offener Choreografie, die das Publikum in verschiedener Weise einbezogen und ebenfalls multimediale Elemente nutzten. Auch wenn eine technisch-kausale Wechselwirkung von visuellen und akustischen Elementen hier nicht gegeben war, so gestalteten die Besucher doch oft beides gleichermaßen, etwa wenn Brechts Event-Score Motor Vehicle Sundown eine Gruppe von Freiwilligen dazu auffordert, sich in ihre geparkten Fahrzeuge zu setzen und nach einer vorgegebenen Partitur verschiedene Scheinwerfer, akustische Signale, den Motor und mechanische Apparaturen wie Scheibenwischer oder Fenster zu bedienen.[8]

5 Erste technische Wechselwirkungen in der kybernetischen Kunst

Während in der Op(tical)-Art vor allem die Bewegung des Betrachters vor dem Bild zu illusionistischen Flimmereffekten führte, wurden in der kinetischen Kunst – z. B. durch Jean Tinguely – Bilder, Reliefs und Skulpturen selbst in Bewegung versetzt. Erst in der kybernetischen Kunst aber wurden tatsächlich technisch vermittelte Wechselwirkungen von Licht und Klang realisiert. Nicolas Schöffer baute seit Mitte der 1950er Jahre kybernetische spatiodynamische Skulpturen (CYSP) und Türme, die durch Mikrofone und Fotozellen auf Geräusche und Lichtverhältnisse der Umwelt oder deren Erzeugung/Manipulation durch den Rezipienten reagierten, und zwar mit eigenen Licht- und Soundkompositionen. Gordon Pask entwarf und realisierte zwischen 1953 und 1957 ein aufwändiges Musicolour System, das akustischen Input zur Steuerung einer Farbprojektion einsetzte: Der erzeugte Ton wird mithilfe von Frequenzfiltern, Rhythmus- und Störspannungs-Detektoren analysiert und steuert Glühbirnen mit davorgeschalteten farbigen Projektionsrädern. Zudem verfügt das Gerät über einen Lernmechanismus und verändert somit die Filter-Parameter im Verlauf der Benutzung.[9]

6 Der Weg zum manipulierbaren Bild: Videokunst

Frühe Systeme, die sich technische Interaktion zunutze machten, basierten fast ausschließlich auf akustischem Input und generierten Bewegung, Licht und/oder Klänge als Output. Erst mit der Entstehung der Videotechnologie in den 1960er und 1970er Jahren wurde die Echtzeit-Aufnahme und -Manipulation bewegter Bilder möglich. Nam June Paik hatte bereits 1963 in seiner ersten Einzelausstellung Exposition of Music – Electronic Television das Publikum eingeladen, Fernsehbilder entweder direkt mittels eines Magneten oder aber durch über ein Mikrofon verstärkte Geräusche, die zur Manipulation des Magnetfelds der Bildröhre genutzt werden, zu verzerren. Um 1970 entwickelte er dann gemeinsam mit Shuya Abe einen der ersten Video-Synthesizer, der die elektronische Montage, Manipulation und Farbcodierung von Videos ermöglichte. Die Manipulation von Videobildern durch Ton wird auch in der Nachfolge von Paik weiter betrieben, etwa in Steina Vasulkas Violin Power oder den Arbeiten von David Stout – allerdings dann meist ohne Partizipationsmöglichkeit des Publikums. Diese wird in die Videokunst dann im Rahmen von Closed-Circuit-Installationen realisiert, die das Bild des Rezipienten aufnehmen und auf Bildschirmen – manchmal zeitversetzt – wiedergeben. Sie basieren jedoch fast ausschließlich auf visuellen Feedbackschleifen.

7 Pioniere der interaktiven Kunst

In den 1960er Jahren war die Entwicklung der Computertechnologie so weit fortgeschritten, dass eine Echtzeit-Interaktion zwischen Mensch und Computer sowie erste grafische Darstellungen in den Bereich des Möglichen rückten. Dies war Voraussetzung für die Echtzeit-Interaktion mit Bildinformation, die dann schnell für künstlerische Anwendungen entdeckt wurde: Bereits Anfang der 1970er Jahre hat der amerikanische Computerwissenschaftler Myron Krueger ein System entwickelt, das Bewegungen von Personen per Videokamera aufnimmt und direkt in Silhouetten umwandelt, die auf einer Projektion mit grafischen Systemobjekten interagieren können. Krueger experimentierte in den verschiedenen Applikationen des als Videoplace bezeichneten Systems auch mit dem Einsatz von Sound, der das visuelle Feedback begleitet. Er betont jedoch, dass es damals eine für ihn nicht zufriedenstellend lösbare Herausforderung gewesen sei, Arbeiten zu schaffen, die tatsächlich eine sinnvolle Verbindung von Bild- und Tonresultaten sowie ein ästhetisch überzeugendes Ergebnis zeitigten.[10]

Als Pionier der Übertragung menschlicher Bewegung in Sound muss daher David Rokeby gelten, der – ebenfalls ausgehend von der videotechnischen Aufzeichnung von Bewegungen des menschlichen Körpers – in den 1980er Jahren das Very Nervous System konzipierte. Unter vollständigem Verzicht auf bildlichen Output analysiert dieses System die menschlichen Bewegungen und reagiert auf sie durch synthetisch generierten Sound, der verschiedene Musikinstrumente imitiert. Während eine solche Aktivierung von Klängen durch menschliche Bewegung in der performativen Medienkunst zunehmend eingesetzt wird[11], bildet sie in interaktiven Installationen die Ausnahme. Ungleich häufiger steuern die Bewegungen der Rezipienten ein visuelles Feedback.

8 Frühe Konzepte des Pattern Playback

Versuche, Bildinformationen zur Steuerung von Sound zu nutzen, gab es bereits seit den 1940er Jahren. Dabei wurde das Prinzip des Sonagramms umgekehrt, indem nicht Klangfrequenzen aufgezeichnet, sondern visuelle Informationen als Frequenzen interpretiert und sonifiziert wurden. Diese in der amerikanischen Sprachforschung als Pattern Playback bezeichnete Methode[12] wurde mithilfe von Computertechnologie weiterentwickelt. Mit dem 1977 durch den Komponisten Iannis Xenakis entwickelten UPIC entstand das erste Echtzeit-System, das visuelle Formen direkt sonifiziert: Auf einem Grafiktablett können Formen gezeichnet werden, deren Gestalt die Tonhöhe vorgibt, während ihre Position zueinander die Tonfolge oder -veränderung bestimmt.[13]

Ebenfalls in den 1970er Jahren entstanden mit der Verbreitung der Video-Technologie verschiedene Systeme, die Live-Videobilder als Input zur Soundgenerierung nutzten, etwa Erkki Kurenniemis Dimi-O-Systeme[14], oder das Projekt Cloud Music von Robert Watts, David Behrman und Bob Diamond (1974–1979), bei dem eine Videokamera Wolkenbewegungen aufnimmt und die Analyse der Lichtintensität an sechs Punkten des Bildes zur Steuerung von Soundkanälen einsetzt.[15]

9 Audiovisuelle Interaktionen im digitalen Medium: Pattern Playback

Erst in den 1990er Jahren wurde die gekoppelte Manipulation akustischer und visueller Informationen als Partizipationsangebot für Rezipienten interaktiver Kunstprojekte realisiert. Eine der Strategien zur Bildsonifikation stützt sich dabei auf die Prinzipien des Plattern Playback: 1995 schuf Toshio Iwai mit Piano as image media eine Installation, bei der die Besucher mittels Trackball Formen und Muster zeichnen können, die auf eine Fläche projiziert und als Notation interpretiert werden. Die einzelnen Bildpunkte der uster bewegen sich zunächst langsam zeilenweise in Richtung einer realen Klaviatur und beschleunigen ab einer bestimmten Schwelle auf die Klaviatur zu, die dann selbstständig den jeweiligen Ton anschlägt. Die Bildpunkte scheinen nun durch die Klaviatur hindurchzulaufen, um anschließend – jetzt auf einer vertikalen Projektion – vom Klavier auszustrahlen, wobei sie sich in farbige, geometrische Objekte verwandeln.

Golan Levin experimentiert in seiner audiovisual environment suite ebenfalls mit der direkten Zeichnung von Tönen, allerdings auf einen Standard-Interface aus Maus und Monitor. Ihn interessiert die Idee einer malerischen Interface-Metapher: This metaphor is based on the idea of an inexhaustible, extremely variable, dynamic, audiovisual substance which can be freely ›painted‹, manipulated and deleted in a free-form, non-diagrammatic context.[16]

In der ersten Applikation der Serie Yellowtail wird die Sonifikation der mittels Maus gezeichneten und durch das System in Bewegung versetzten Formen noch über eine das Bild wiederholt von unten nach oben durchlaufende Achse erreicht, die einen Ton auslöst, sobald sie auf einen Bildpunkt trifft (wobei die horizontale Position die Tonhöhe , die Lichtstärke des Bildpunkts die Lautstärke bestimmt). Im Folgeprojekt Loom verzichtet Levin auf diese Achse und generiert den Sound direkt aus der vom Rezipienten gezeichneten Form, indem er die Zeitachse unmittelbar auf die Form mappt. So erzeugt z. B. eine breitere Linie einen lauteren Ton, eine Richtungsänderung setzt den Ton auf eine höhere Frequenz. Die Bewegungsdynamik der Zeichnung wird registriert, um sie dann wiederholt abspielen zu können.

10 Audiovisuelle Interaktionen im digitalen Medium: interactive widgets

Eine weitere Möglichkeit der visuellen Manipulation von Sound ist seine symbolische Repräsentation durch Objekte, die innerhalb eines interaktiven Prozesses aktiviert werden. Golan Levin bezeichnet sie als interactive widgets.[17]

Bereits zwischen 1992 und 1994 hat Toshio Iwai ein System mit dem Titel Music Insects entwickelt, bei dem der Rezipient mittels Maus auf dem Bildschirm Zeichnungen erstellen kann. Durch die Auswahl von Farben weist er den gezeichneten Linien und Formen Töne zu. Anschließend wählt er verschiedene Insekten, die jeweils unterschiedliche Instrumente repräsentieren und über den Bildschirm laufen. Sobald sie auf die Zeichnungen treffen, wird der jeweils gewählte Ton aktiviert, wobei weiße und graue Farbtöne die Bewegungsrichtung der Insekten ändern.[18] Wegweisend ist dabei die Abkehr von einer linear verstandenen Notation hin zu einer, die im Raum organisiert ist. Ähnliches gilt für die Arbeit Small Fish, die Kiyoshi Furukawa gemeinsam mit Wolfgang Münch und Masaki Fujihata 1998/1999 schuf. Die 15 verschiedenen Varianten dieses Systems arbeiten fast alle nach dem Grundprinzip, dass sich ein oder mehrere Tonabnehmer, meist in Form einfacher Punkte, über die Fläche bewegen und bei einem Zusammentreffen miteinander, mit tönenden grafischen Elementen oder mit den Feldbegrenzungen Töne aktivieren und ihre Richtung ändern. Der Rezipient kann die Elemente verschieben und dadurch die Komposition beeinflussen.

Golan Levin kritisiert bei vielen dieser Systeme die sehr beschränkten Einflussmöglichkeiten der Rezipienten auf das akustische Ergebnis, was u. a. aus der Tatsache resultiere, dass nicht das tönende Objekt selbst, sondern lediglich seine Umgebung oder Bewegungsmöglichkeit interaktiv verändert werden könne.[19] Ihm gelingt es, gemeinsam mit Zachary Lieberman mit der Manual Input Workstation ein vollständig intuitives System zu entwickeln, bei dem die Besucher durch schattenspielartige Handgesten Formen und Töne gleichzeitig und direkt formen und manipulieren. Durch die Nutzung von menschlichen Gesten gibt es keinerlei distanzierende apparathafte Ebene zwischen Input und Output: Form und Farben werden unmittelbar per Hand generiert.

11 Audiovisuelle Interaktionen im digitalen Medium: vom Mischpult zum Musictable

Andere Systeme gehen zur visuellen Erzeugung/Manipulation von Sound vom Konzept des Mischpults aus. Gerade (kommerzielle) Audio-Software (Software-Sequenzer, z. B. Digital Performer) imitiert häufig die Optik und Funktionalität analoger Mischpulte, während experimentellere Systeme versuchen, diese Funktionalität durch andere grafische Darstellungsformen zu verbessern.[20] Noch weiter gehen neue Formen der Musiktische, die die erzeugbaren und erzeugten Klänge, Frequenzen und Rhythmen visuell darstellen und in einen räumlichen Zusammenhang bringen. Eine hoch entwickelte und komplexe Variante der zahlreichen existierenden Musictables[21] ist der reacTable, ein runder Tisch, auf dem verschiedene mit Markern versehene Musikbausteine positioniert und damit gleichzeitig aktiviert werden können[22]: Sie übernehmen die Funktion von Generatoren, Audio-Filtern, Controllern, Kontrollfiltern, Audiomixern und globalen Objekten (z. B. ein Metronom), wobei der Benutzer diese Funktion keineswegs kennen oder identifizieren muss, um Klangfolgen zu erzeugen. Die Position der Bausteine zueinander bestimmt dabei ihre gegenseitige Einflussnahme. Während die einzelnen Klangkomponenten weiter über Symbole dargestellt werden, wird deren Zusammenspiel durch verbindende Linien, die Frequenzen und Rhythmen visualisieren, verdeutlicht. Das Interessante am reacTable ist neben dem schier unerschöpflichen Spektrum an Möglichkeiten der intuitiven Echtzeit-Musikproduktion und -visualisierung das Potenzial zur kollaborativen Improvisation von mehreren Produzenten.

12 Neue Experimente in der interaktiven Tonvisualisierung

Innerhalb der letzten zehn Jahre ist auch die Visualisierung von durch Rezipienten erzeugtem Sound, die bereits in den 1950er und 1960er Jahren erprobt worden war, weiterentwickelt worden. So erweiterten Levin und Lieberman einerseits Installationen in der Tradition der Echtzeit-Analyse und -Projektion von Silhouetten um Sound-Komponenten: In der Installation re:mark versucht ein Spracherkennungssystem, Äußerungen von Besuchern in Schrift umzusetzen, die sich dann ausgehend von deren Silhouette über eine Projektion bewegt, während die vom Aufbau her vergleichbare Installation messa di voce den Sound in abstrakte Formen umsetzt.[23]

Eine völlig neue Herangehensweise entwickelten die beiden Künstler 2002 gemeinsam mit dem Ars Electronica Futurelab mit der Installation The Hidden Worlds of Noise and Voice. Hier wird wechselseitige Kommunikation räumlich sichtbar gemacht, die Stimmen oder Geräusche von verschiedenen, um einen runden Tisch sitzenden Rezipienten werden durch 3-D-Technologie in virtuelle Soundplastiken umgewandelt. Die entstehenden Formen sind einerseits mittels spezieller 3-D-Brillen beobachtbar, werden andererseits als Schatten auf den Tisch projiziert, sodass auch umstehende Besucher den visualisierten Kommunikationsprozess verfolgen können.

Eine andere Form der Übersetzung von Ton und Bild ist dann gegeben, wenn keine Visualisierung der Geräusche versucht wird, sondern diese auf symbolischer Ebene interpretiert werden. So lässt z. B. Vincent Elka in seiner Installation Shout ein projiziertes Frauengesicht auf den akustischen Input des Besuchers reagieren. Das System versucht, aus den Stimmen Emotionen herauszulesen und die Frau sowohl mimisch als auch durch Sprache darauf reagieren zu lassen.[24] Damit referenziert Elka auf Konzepte einer sprachlichen Kommunikation zwischen Mensch und technischem System, die in der KI-Forschung (Künstliche Intelligenz) relevant sind, aufgrund ihrer Fundierung auf symbolischen Systemen jedoch nicht als Ton-Bild-Transformation im engeren Sinne gelten können. Vielmehr wird deutlich, wie interaktive Kunstprojekte meist abstrakteren, oft auch assoziativen Relationen von Tönen mit Farben und Formen verpflichtet ist, zu deren aktiver Erkundung sie einladen.

Alle Fußnoten

[1] James Mark Baldwin (Hg.), Dictionary of Philosophy and Psychology, Bd. 1, London 1901, S. 561.

[2] Ausführlich zum Begriff der Interaktion: Katja Kwastek, »Interactivity – A word in process«, in: L.C. Jain, Laurent Mignonneau, Christa Sommerer (Hg.), The Art and Science of Interface and Interaction Design, Berlin/Heidelberg 2008, S. 15–26.

[3] zitiert nach: Lars Blunck, Between Object & Event. Partizipationskunst zwischen Mythos und Teilhabe, Weimar 2003, S. 65.

[4] Brief von Marcel Duchamp an Jehan Mayoux, 1956, zitiert nach: Dieter Daniels, Duchamp und die anderen. Der Modellfall einer künstlerischen Wirkungsgeschichte in der Moderne, Köln 1992, S. 2.

[5] Umberto Eco, Das offene Kunstwerk, Frankfurt 1998, S. 57.

[6] Robert Rauschenberg im Programmheft zur Ausstellung, zitiert nach: Billy Klüver, Julie Martin: »Arbeiten mit Rauschenberg«, in: Robert Rauschenberg – Retrospektive, Walter Hopps, Susan Davidson (Hg.), Solomon R. Guggenheim Museum New York 1997–1998, Ostfildern 1998, S. 315.

[7] Klüver, Martin, Robert Rauschenberg – Retrospektive, S. 319.

[8] George Brecht. Events. Eine Heterospektive, Alfred Fischer (Hg.), Museum Ludwig, Köln 2005, S. 87.

[9] Gordon Pask, »A comment, a case history and a plan«, in: Jasia Reichardt (Hg.), Cybernetics, Art and Ideas, Greenwich 1971, S. 76–99, siehe auch Margit Rosen »›The control of control‹ – Gordon Pasks kybernetische Ästhetik«, in: Pask Present. An exhibition of art and design inspired by the work of Gordon Pask, Ranulph Glanville und Albert Müller (Hg.): Echoraum, Wien 2008, S. 131–191.

[10] Interview mit der Autorin, 20.05.2007.

[11] Als ein Beispiel sei hier nur die Performance-Gruppe Palindrome genannt, siehe http://www.palindrome.de (24.03.2009).

[12] Vgl. Haskin Laboratories: The Science of the Spoken and Written Word, http://www.haskins.yale.edu/featured/patplay.html (24.03.2009).

[13] Vgl. Golan Levin, »The Table is The Score: An Augmented-Reality Interface for Real-Time, Tangible, Spectrographic Performance«, in: Proceedings of the International Conference on Computer Music 2006 (ICMC’06), New Orleans, November 6–11, 2006, http://www.flong.com/storage/pdf/articles/levin_scrapple_20060320_1200dpi.pdf.

[14] Vgl. Mikko Ojanen, Jari Suominen, Titti Kallio »Design Principles and User Interfaces of Erkki Kurenniemi’s Electronic Musical Instruments of the 1960’s and 1970’s«, in: Proceedings of the 2007 Conference on New Interfaces for Musical Expression (NIME07), New York, S. 91.

[15] Vgl. David Dunn, Eigenwelt der Apparate-Welt, Linz 1992, S. 152–153.

[16] Golan Levin, Painterly Interfaces for Audiovisual Performances, M.S. Thesis MIT Media Laboratory, Cambridge 2000, S. 56, http://www.flong.com/storage/pdf/articles/thesis600.pdf.

[17] Levin, Painterly Interfaces, S. 41.

[18] Siehe A Short History of the Works by Toshio Iwai, http://www.vanriet.com/doors/doors1/transcripts/iwai/iwai.html.

[19] Levin, Painterly Interfaces, S. 41f.

[20] z. B. in verschiedenen Soundscape-Projekten der Interval Research Cooperation, siehe Levin, Painterly Interfaces, S. 37.

[21] Vgl. die Übersicht, http://reactable.iua.upf.edu/?related (24.03.2008).

[22] Siehe Sergi Jordà u. a., The reacTable: Exploring the Synergy between Live Music Performance and Tabletop Tangible Interfaces, http://mtg.upf.edu/reactable/pdfs/reactable_tei2007.pdf.

[23] Vgl. Golan Levin, Zachary Lieberman, »In-Situ Speech Visualization in Real-Time Interactive Installation and Performance«, in: Proceedings of The 3rd International Symposium on Non-Photorealistic Animation and Rendering, Annecy, Frankreich, Juni 7–9, 2004, http://www.flong.com/storage/pdf/articles/messa_NPAR_2004_300dpi.pdf.

[24] siehe die Website des Projekts: http://shout.emosmos.com (24.03.2009)

Literaturliste

A Short History of the Works
Author: Iwai, Toshio

Arbeiten mit Rauschenberg
1998, Author: Klüver, Billy and Martin, Julie Publisher: Hatje

Between Object & Event: Partizipationskunst zwischen Mythos und Teilhabe
2003, Author: Blunck, Lars Publisher: VDG Verl. und Datenbank für Geisteswiss.

Cybernetics, art, and ideas.
1971, Publisher: New York Graphic Society

Das offene Kunstwerk
1998, Author: Eco, Umberto Publisher: Suhrkamp

Design Principles and User Interfaces of Erkki Kurenniemi’s Electronic Musical Instruments of the 1960’s and 1970’s
2007, Author: Kallio, Titti and Ojanen, Mikko and Suominen, Jari and Lassfolk, Kai

Dictionary of Philosophy and Psychology, Bd. 1
1901, Publisher: Macmillan

Duchamp und die anderen: Der Modellfall einer künstlerischen Wirkungsgeschichte in der Moderne
1992, Author: Daniels, Dieter Publisher: DuMont

Eigenwelt der Apparatewelt pioneers of electronic art [June 22 - July 5 1992, Oberösterreichisches Landesmuseum Francisco Carolinum, Linz]
1992,

George Brecht. Events. Eine Heterospektive: [anlässlich der gleichnamigen Ausstellung im Museum Ludwig, Köln, 17. September 2005 - 8. Januar 2006 und im MACBA Museu d’Art Contemporani de Barcelona, 25. Mai - 3. September 2006]
2005, Publisher: König

In-Situ Speech Visualization in Real-Time Interactive Installation and Performance
2004, Author: Levin, Golan and Lieberman, Zachary Publisher: Association for Computing Machinery

Interactivity - A Word in Process
2008, Author: Kwastek, Katja Publisher: Springer-Verlag Berlin Heidelberg

Painterly Interfaces for Audiovisual Performances
2000, Author: Levin, Golan

The Science of the Spoken and Written Word
Author: {Haskins Laboratories

The Table is The Score: An Augmented-Reality Interface for Real-Time, Tangible, Spectrographic Performance
2006, Author: Levin, Golan Publisher: International Computer Music Association; Music Department Tulane Univ.

The reacTable: Exploring the Synergy between Live Music Performance and Tabletop Tangible Interfaces
Author: Jordà, Sergi and Geiger, Günter and Alonso, Marcos and Kaltenbrunner, Martin

‘The control of control’ – Gordon Pasks kybernetische Ästhetik
2008, Author: Rosen, Margit Publisher: Ed. echoraum

siehe auch

Personen
  • Shuya Abe
  • David Behrman
  • George Brecht
  • John Cage
  • Bob Diamond
  • Marcel Duchamp
  • Umberto Eco
  • Vincent Elka
  • Masaki Fujihata
  • Kiyoshi Furukawa
  • Dick Higgins
  • Toshio Iwai
  • Allan Kaprow
  • Billy Klüver
  • Myron Krueger
  • Erkki Kurenniemi
  • Golan Levin
  • Zachary Lieberman
  • Jehan Mayoux
  • Wolfgang Münch
  • Nam June Paik
  • Gordon Pask
  • Jackson Pollock
  • Robert Rauschenberg
  • David Rokeby
  • Nicolas Schöffer
  • David Stout
  • Jean Tinguely
  • David Tudor
  • Steina Vasulka
  • Robert Watts
  • Iannis Xenakis
  • Werke
  • 4′33″
  • 9 Evenings (Theatre and Engineering)
  • Audiovisual Environment Suite (AVES)
  • Bandoneon! (a combine)
  • Cloud Music
  • Combine-Painting
  • Dimi-O (Digital Music Instrument, Optical Input)
  • Exposition of Music – Electronic Television
  • Kybernetische spatiodynamische Skulptur (CYSP)
  • Loom
  • Manual Input Workstation
  • messa di voce
  • Motor Vehicle Sundown
  • Music Insects
  • Musicolour
  • Open Score
  • Oracle
  • Paik/Abe Video-Synthesizer
  • Piano as image media
  • re:MARK
  • reacTable
  • Shout
  • Small Fish
  • Soundings
  • The Hidden Worlds of Noise and Voice
  • UPIC (Unité Polyagogique Informatique du CEMAMu)
  • Very Nervous System (VNS)
  • Videoplace
  • Violin Power
  • White Paintings
  • Yellowtail

  • Zeitrahmen
    1900 bis heute

    Alle Schlagwörter
  • Echtzeit (Kapitel 7, 8, 9, 10, 11, 12)
  • Entgrenzung (Kapitel 3)
  • Improvisation (Kapitel 11)
  • Indeterminismus (Kapitel 2)
  • Intermedialität (Kapitel 3)
  • Modulation (Kapitel 6)
  • Notation (Kapitel 9)
  • Partizipation (Kapitel 2, 4, 5)
  • Performativität (Kapitel 4, 12)
  • Polysensualität (Kapitel 7)
  • Simultaneität (Kapitel 6)
  • Synthese (Kapitel 7)
  • digitale Signalverarbeitung (Kapitel 7, 8, 9, 10, 11, 12)
  • generative Verfahren (Kapitel 7, 8, 9, 11)
  • gezeichneter Klang (Kapitel 8)


  • Körperschaften
  • Ars Electronica Futurelab
  • Interval Research Corporation
  • Palindrome
  • Datenschutzerklärung / Impressum