Klang-Bild-Relationen in Games

von Axel Stockburger

1 Sound in frühen Computerspielen

2 Die Erweiterung des audiovisuellen Repertoires in Games um Musik und räumliche Darstellungen

3 Die Einführung von Speichermedien (CD-ROM, Cartridges) zur Wiedergabe aufgezeichneten Tonmaterials und digitaler Klangeffekte

4 Neue Funktionen von Ton-Bild-Kopplungen in zeitgenössischen Computerspielen

4.1 Akusmatische Funktion

4.2 Motorische Funktion

5 Game-Genres mit audiovisuellem Schwerpunkt: Music Video Games

5.1 Rhythm Action Games

5.2 Electronic instrument games

6 Appropriation von Games in der Medienkunst

7 Music Video Games in der interaktiven Kunst



Abstract

Computerspiele sind seit Ihrer Entstehung in den 1960er Jahren von der Wechselwirkung zwischen Ereignissen auf der Bild- und Tonebene definiert. Diese Verbindung erfüllt zahlreiche Funktionen auf der affektiven sowie der semantischen Ebene. Es gibt zwar einige Parallelen zwischen der Rolle des Tones und der Musik im Film und in Computerspielen, aber eine wesentlich Differenz besteht in der Tatsache, dass die SpielerInnen in vielen Fällen die interaktive Kontrolle über den zeitlichen Ablauf des Geschehens innehaben. Mit den sogenannten Rhythm Games sowie Electronic Instrument Games existieren mittlerweile Genres, die das dynamische Verhältnis zwischen Ton, Bild und Interaktion zum Spielinhalt selbst erklären. In diesem Bereich wird gegenwärtig intensiv an innovativen Interfaces und Interaktionsmethoden geforscht. Einige der Prototypen für erfolgreiche Music Video Games wurden von Multimedia-KünstlerInnen entscheidend mitgeprägt.

 

1 Sound in frühen Computerspielen

Die Beziehungen zwischen Ton und Bild sowie die Entwicklung neuartiger Toneffekte spielten seit der Entstehung der Computerspiele eine wichtige Rolle. Bereits das gemeinhin als prototypisches Computerspiel bezeichnete Spacewar (MIT 1962) wies in einer weiterentwickelten Form einfache Toneffekte auf.

Das erste kommerzielle Computerspiel mit Toneffekten war Atari’s berühmtes, an Tischtennis angelehntes Pong (Atari 1972). Stephen L. Kent berichtete, dass der Designer des Spieles, Al Acorn, den Sound eher beiläufig hinzufügte: The truth is, I was running out of parts on the board. Nolan [Bushnell] wanted the roar of a crowd of thousands — the approving roar of cheering people when you made a point. Ted Dabney told me to make a boo and a hiss when you lost a point, because for every winner there’s a loser. I said ›Screw it, I don’t know how to make any one of those sounds. I don’t have enough parts anyhow. Since I had the wire wrapped on the scope, I poked around the sync generator to find an appropriate frequency or a tone. So those sounds were done in half a day. They were the sounds that were already in the machine.[1] Die Klänge der ersten Generation von Videospielen wie Pong wurden aufgrund beschränkter Speicherkapazitäten noch auf der Basis von spezifischen elektronischen Schaltungen erzeugt. Damit waren zunächst die Optionen der Einbindung musikalischer Formen stark eingeschränkt. Aber auch die charakteristischen Geräusche dieser Frühphase erfüllten die wichtige Funktion, eine an das visuelle Geschehen am Bildschirm gekoppelte auditive Rückmeldung zu erzeugen. So schreibt etwa Claus Pias über die äußerst reduzierten elektronischen Klänge, die beim Aufprall des Schlägers auf den Ball im Spiel Pong hörbar sind: »[D]as ›pong‹–Geräusch der Kollisionsabfrage erscheint als Belohnung für die richtige Antwort in einem verantwortungsvollen Spiel, und seine getaktete Wiederkehr macht das Funktionieren dieses Ballspiels und damit das der Koppelung von Mensch und Spiel auf einen gemeinsamen Systemtakt hörbar.[2]

Damit wird eine der wichtigsten Qualitäten der Beziehung zwischen Bild und Ton in interaktiven Spielen verdeutlicht: die audiovisuelle Rückkoppelung der Spielenden an das Spielsystem. Dieses Phänomen steht mit Michel Chions Begriff der Ergo Audition[3] in Verbindung, der Situationen bezeichnet, in denen wir uns selbst etwas tun hören beziehungsweise in denen der/die ZuhörerIn gleichzeitig AuslösendEr des Klanges ist. Daher ist das permanente audiovisuelle Feedback in Spielen die Basis für die affektive Verortung der Spielenden in einer simulierten Welt.

Auch wenn sich die Qualität und Komplexität der audiovisuellen Formen angesichts der technologischen Entwicklung seit den frühen Spielen der 1970er Jahre deutlich verändert haben, blieb dieses Grundprinzip konstant wirksam.

2 Die Erweiterung des audiovisuellen Repertoires in Games um Musik und räumliche Darstellungen

Im Unterschied zu Pong, dessen Sounds auf speziell für einzelne Töne entwickelten Schaltkreisen aus Transistoren und Widerständen beruhten, war es mit den Soundchips, die ab 1978 in Arcade Games wie etwa Space Invaders (Midway 1978) eingebaut wurden, möglich, Klänge zu synthetisieren. Damit erweiterte sich das Sound-Spektrum und die auditive Qualität der Klänge bewegte sich von einer klar als elektronisch wahrnehmbaren Form hin zu realistischeren Reproduktionen von Klangeffekten. Gleichzeitig führte die zunehmende Verbesserung der Möglichkeiten zur elektronischen Klangsynthese dazu, dass Musik zu einem wichtigeren Element in Computerspielen wurde. Der 8-Bit-Soundchip des Commodore Amiga, der 1985 auf den Markt kam, erlaubte bereits die Reproduktion von kurzen Samples und damit den Einzug von aufgezeichneten Klängen in Computerspielen.

Ein weiterer zentraler Umbruch, speziell in Bezug auf die Erzeugung räumlicher Eindrücke, vollzog sich für den Ton mit der Einführung von Stereoklängen Mitte der 1980er Jahre (Amiga 1000) – hier wäre das Spiel Discs of Tron (Atari 1983) zu erwähnen – und für das Bild mit dem Übergang von spritebasierter 2-D- zu vektorbasierter 3-D-Darstellung. Damit einher ging die Entwicklung von grafisch abstrakten und visuell reduzierten Bildern hin zu den gegenwärtigen tendenziell dem Foto- und Filmrealismus verpflichteten Repräsentationsformen. Das Weltraumspiel Elite (Acornsoft 1984) gilt als erster Vertreter einer vollständig berechneten dreidimensionalen Repräsentation.

3 Die Einführung von Speichermedien (CD-ROM, Cartridges) zur Wiedergabe aufgezeichneten Tonmaterials und digitaler Klangeffekte

Die 16-Bit-Soundchips, die etwa in Nintendo’s Super Famicom (1990) und die SNES-Konsole (1991) eingebaut wurden, ermöglichten erstmals eine Klanggeneration in CD-Qualität und damit einen weiteren Schub in Bezug auf die Auflösung und Komplexität der Klanglandschaften.

Mit der Verbreitung von Speichermedien wie der CD-ROM konnte ab den 1990er Jahren außerdem vorab aufgezeichnetes Tonmaterial im größerem Maßstab integriert werden. Somit wurde verstärkt auf die Verwendung instrumentaler und zuweilen orchestraler Musik gesetzt, die sich zunehmend an der Filmmusik orientierte.

Darüber hinaus verbesserte sich die Qualität der Klänge, indem nun mithilfe von Digital Signal Processing (DSP) Effekte wie Hall, Modulation oder auch Geschwindigkeitsveränderungen erzeugt werden konnten.

Mit der Einführung der für die DVD entwickelten Mehrkanaltechnik Dolby Surround 5.1 in den Spielkonsolen Sony Playstation 2 und Microsoft X-Box im Jahr 2000 wurde es zusätzlich möglich, Klänge räumlich sehr präzise zu platzieren.

4 Neue Funktionen von Ton-Bild-Kopplungen in zeitgenössischen Computerspielen

Im Wechselspiel mit diesen technischen Innovationen kristallisierten sich zentrale Funktionen des Zusammenspiels von Ton- und Bildebene in Games heraus, die spezifisch für das Medium sind. Töne beleben die fiktive Spielwelt und verorten die SpielerInnen im Geschehen, wobei die auditive Ebene die räumliche Dimension über den begrenzten Bildausschnitt hinaus erweitert. Zudem geben Klänge Feedback und Informationen über dynamische Situationen im Spiel. Die Verbindung zwischen Bild und Ton in Zusammenhang mit den Handlungen der Spielenden erzeugt einen spezifischen Rhythmus. Klang und Musik eröffnen dabei eine zusätzliche affektiv-emotionale Dimension. Vor diesem Hintergrund erscheint die Verknüpfung zwischen Ton und Bild in Games als ein komplexes und dynamisches Geflecht. Während es im Film einen festgelegten Soundtrack gibt, bei dem die Verknüpfung von Bildern und Klängen bereits vollständig definiert ist, ist diese im Fall von Computerspielen durch die Programmierung der Game Engine geregelt und damit wesentlich von verschiedensten Faktoren innerhalb der Spielsituation abhängig.

Abgesehen von vordefinierten Hintergrundklängen werden Soundeffekte und situationsbezogene Ambientgeräusche dynamisch durch das Spielgeschehen generiert. Zwar sind die Beziehungen zwischen visuellen Objekten und Klängen im Programm festgelegt, die zeitliche Kontrolle über deren Auslösung liegt aber in der Hand der SpielerInnen.

Einem visuellen Objekt können beispielsweise verschiedene Klänge zugeordnet werden, die den jeweiligen dynamischen Zuständen dieses Objektes entsprechen.

So können die Aktionen der visuellen Repräsentation des Gegners in einem klassischen First Person Shooter durch verschiedene Klänge signalisiert werden: die Bewegung durch Schrittgeräusche, das Abfeuern eines Schusses durch einen Knall oder ein Treffer durch einen Aufschrei. Da der Gegner nicht immer im Bereich des Sichtbaren verbleiben muss, kann hier die Klangebene die für das Spiel relevanten Informationen über den Standort und den Schadensstatus des Gegners vermitteln.

Klänge können nicht nur Handlungen, sondern auch Objekten oder Orten im Spiel zugeordnet sein, wobei sich ihre auditiven Qualitäten über die jeweiligen Einsatzgebiete definieren. Geräusche, die Aktionen oder Objekten zugeordnet sind, besitzen oft einen Signalcharakter, der sie in den Vordergrund rückt. Geräusche hingegen, die einem Ort zugewiesen sind, erzeugen einen Hintergrund und sind damit tendenziell eher atmosphärisch gestaltet. Diese unterschiedlichen Zuordnungen zwischen Bild und Ton lassen sich als audiovisuelle Funktionen beschreiben, die im Spielgeschehen verschiedene Aufgaben erfüllen.

4.1 Akusmatische Funktion

Die akusmatische Funktion[4] bezeichnet Situationen, in denen ein Klang, der im Spiel eindeutig einem visuellen Objekt zugeordnet ist, hörbar ist, ohne dass man das korrespondierende Objekt sehen kann. Vergleichbare Erscheinungen im Film beschrieb Michel Chion mit dem Begriff des Akusmatischen wie folgt: In a film an acousmatic situation can develop along two different scenarios: either a sound is visualized first, and subsequently acousmatized, or it is acousmatic to start with, and it is visualized only afterwards.[5] In gegenwärtigen 3-D-Spielen hat der/die SpielerIn sehr oft die Aufgabe, einen Übergang von akusmatischen zu visualisierten Klängen selbst herzustellen, indem er/sie etwa die Blickperspektive in Richtung eines Klanges lenkt, um zu sehen, welches Objekt diesen hervorgerufen hat. Im Unterschied zum Film, in dem solche Situationen im Tonschnitt klar festgelegt werden, ist das von SpielerInnen gesteuerte permanente Oszillieren zwischen akusmatischen und visualisierten Klangquellen eine Funktion, die wesentlich für die dynamische Verortung der Spielenden im simulierten Spielraum verantwortlich ist und in manchen Fällen sogar zum vorrangigen Spielprinzip erhoben wird, etwa in Spielen der Metal Gear Solid -Reihe (Konami 1998–2008), bei denen die Spielenden sich vor Gegnern, die zunächst nur zu hören sind, verstecken müssen.

4.2 Motorische Funktion

Eine weitere qualitativ spezifische Verbindung zwischen Ton und Bild, die man als motorische Funktion[6] bezeichnen kann, bezieht sich auf das gemeinsame Auftreten von Objekten und Bewegungsgeräuschen. Sie kommt in vielen Rennspielen und Flugsimulatoren zur Anwendung, wenn auf der visuellen Ebene das von SpielerInnen gesteuerte Vehikel permanent im Bild zu sehen ist, während der Hintergrund animiert wird und auf der Tonebene ein an die Interaktion gekoppeltes, in Frequenz und Lautstärke dynamisch moduliertes Motorengeräusch zu hören ist. Motorische Funktionen werden durch adaptiven Klang erzeugt, der dynamisch auf die Spielhandlung reagiert. Der Sound Designer Andrew Clark führt in diesem Zusammenhang aus: [t]he archetypal example of adaptive audio is the sound of a car engine in a racing game – when the user steps on the gas, the effect must change to reflect the engine’s changing RPM (revolutions per minute). This type of sound adds a unique extra dimension to the challenge of game sound design. Whereas an engine sound for a linear AV medium only has to fit with two contexts (the visual and the mix), an adaptive engine sound must also respond dynamically to pseudo-random user input events.[7] In diesem Fall haucht der dynamisch angepasste Ton dem an sich eher statischen Vehikel im Bild den Anschein von Bewegung ein und der Klang wird ganz im Sinne von Chion’s Ergo Audition als von den SpielerInnen ausgelöst wahrgenommen. Am Beispiel der Autorennsimulationen aus der Gran Turismo-Reihe (Sony 1997–2008) kann die oben beschriebene motorische Funktion der Verbindung von Ton und Bild exemplarisch nachvollzogen werden.

5 Game-Genres mit audiovisuellem Schwerpunkt: Music Video Games

Obwohl die Bedeutung der Beziehung zwischen Ton und Bild, vor allem auch für die Erzeugung räumlicher Simulationen, in allen Spielen relevant ist, gibt es mit den sogenannten Music Video Games ein Genre, dass dieses Verhältnis in den Vordergrund rückt. Eine der ersten Inkarnationen dieses Genres ist das Spiel Otocky (ASCII Corporation 1987), das von dem japanischen Multimedia-Künstler Toshio Iwai entwickelt wurde. Bei Otocky handelt es sich um Side Scrolling Shooter, bei dem die SpielerInnen Klänge erzeugen, indem sie gegnerische Objekte abschießen.

Mit jedem Schuss wird ein neuer Ton generiert; manche abgeschossene Objekte können die Tonhöhe oder die Tonart verändern. Die entstandenen Töne werden automatisch quantisiert, das heißt, dem Rhythmus des Beats angepasst, sodass durch das Spielen harmonische Melodien entstehen.

Seitdem wurde eine Vielzahl ausgesprochen unterschiedlicher Music Video Games entwickelt, die sich mit verschiedensten Aspekten des Verhältnisses zwischen Bild, Ton und SpielerInneninteraktion auseinandersetzen. Die Music Video Games lassen sich in zwei einander teilweise überlappende Kategorien der Rhythm Action Games und der Electronic Instrument Games[8] unterteilen. Im ersten Fall folgen die SpielerInnen weitestgehend dem vom Spiel vorgegebenen Rhythmus, während im zweiten Fall das Spiel als veritables Instrument zur Erzeugung eigenständiger musikalischer Äußerungen angesehen werden kann und damit ein größerer Grad an Freiheit besteht. Neben diesen zwei Formen gibt es eine Vielzahl an appropriativen Arbeiten und interaktiven Installationen von KünstlerInnen, die Aspekte des Computerspieles aufnehmen und verändern. Wie beispielsweise die Praxis von Toshio Iwai zeigt, sind die Grenzen zwischen diesen Formen oft nicht eindeutig auszumachen. Einige Projekte entstehen als kommerzielle Produkte der Game Industry andere werden als Multimedia-Installation im Rahmen von Kunstausstellungen produziert.

5.1 Rhythm Action Games

In sogenannten Rhythm Action Games wie etwa FreQuency (2001), Amplitude (2003) oder Rhythm Tengoku (Nintendo 2006) ist der Rhythmus als zentraler Faktor anzusehen und somit für die spezifische Ästhetik der Spielerfahrung verantwortlich. In diesen Spielen wird die Tatsache ins Zentrum gerückt, dass sich Klang als Feedback für Handlungen in simulierten Umgebungen einsetzen lässt, um die SpielerInnen in eine Art Systemtakt einzubinden. Die außerordentlich populären Spiele Guitar Hero (Harmonix 2005) und Rockband (Harmonix 2007), welche die SpielerInnen in die Rolle von RockmusikerInnen schlüpfen lassen, verlangen rhythmische und zeitkritische Reaktionen auf die Vorgaben des Programmes. In dem originellen Spiel Vib Ribbon (NaNaOn-Sha 2000) wird ein Strichmännchen über eine Linie bewegt, die sich auf der Basis von Musik, die von den SpielerInnen in Form einer CD selbst ausgewählt werden kann, transformiert und damit verschiedenste zu überwindende Hindernisse entstehen lässt. Auch hier wird der musikalische Rhythmus zum Ausgangspunkt für die Interaktion. Rhythmische Strukturen, die aus der audiovisuellen Rückkoppelung zwischen Mensch und Maschine während des Spielprozesses entstehen, haben in digitalen Spielen jedoch eine weiterreichende Bedeutung. In dieser Situation bleibt der Computer der menschlichen Reaktionsfähigkeit immer überlegen. Das Prinzip der meisten Rhythm Action Games besteht tatsächlich exakt darin, sich einem vorgegebenen Rhythmus, der von Level zu Level komplexer und schneller wird, durch das Drücken von Knöpfen so exakt wie möglich anzupassen. Die Punktevergabe, die solche Spiele kompetitiv macht, ist also von der zeitkritischen Akkomodation der SpielerInnen an den jeweiligen Rhythmus des Spielsystem abhängig. Auch das durch seine idiosynkratische, zwischen 2-D und 3-D angesiedelte Ästhetik ausgezeichnete Spiel Parappa the Rapper (NaNaOn-Sha 1996), bei dem der/die SpielerIn im richtigen Rhythmus die Knöpfe des Controllers bedienen muss, um den Hauptcharakter zum Rappen zu bringen, orientiert sich an diesem Schema. Ein Spiel, das zwar im Ansatz ebenfalls diesem Prinzip folgt, den SpielerInnen allerdings eine freiere Wahl in Bezug auf die Zeitlichkeit der Interaktion lässt, ist das japanische Audio Game REZ (2001). In diesem Sinne weist REZ über die typischen Rhythm Action Games hinaus und bietet eine ästhetisch eigenständige, intermodale Erfahrung, die einen etwas größeren Handlungsspielraum eröffnet.

5.2 Electronic instrument games

Als Electronic Instrument Games lassen sich all jene Computerspiele verstehen, die das Spielprinzip jenseits von Punktevergabe und klaren Sieg- oder Niederlagekonditionen in der Erzeugung von Musik positionieren. Einerseits hat die computergestützte Erzeugung von Musik seit den ersten Experimenten elektronischer PionierInnen in den 1950er und 1960er Jahren einen enormen Siegeszug angetreten und ist aus der gegenwärtigen Popmusik nicht mehr wegzudenken, andererseits haben Multimedia-künstlerInnen wie etwa Toshio Iwai begonnen, komplexe interaktive Simulationen zur Klanggeneration zu erforschen und weiterzuentwickeln. Auch analoge Video/Audiosynthesizer können als Vorläufer für die Electronic Instrument Games betrachtet werden.

Viele dieser Spiele, wie etwa Sim Tunes (Maxis 1996) und Electroplankton (Nintendo 2005) lassen sich weniger als regelgebundene, zielorientierte Spiele im klassischen Sinn verstehen, sondern weisen eher in Richtung von Spielzeugen und neuartigen Musikinstrumenten im weitesten Sinne. Im Unterschied zu populärer Software zur Klangproduktion verwenden diese Spiele auf der visuellen Ebene oft Metaphern, die dynamischen Systemen entlehnt sind. So wird etwa in Electroplankton ein biologisches System, nämlich die Bewegung von Mikropartikeln in unterschiedlichen simulierten Umgebungen, mit denen die SpielerInnen interagieren, zum Ausgangspunkt der Klangproduktion.

6 Appropriation von Games in der Medienkunst

In den 1990er Jahren setzte vor allem seitens der MedienkünstlerInnen eine intensive Auseinandersetzung mit dem Medium Computerspiel ein, die sich insbesondere in Strategien der Appropriation ästhetischer Inhalte und der Modifikation (Modding) existierender Spiele entfaltete[9].

Der australische Künstler Julian Olivier hat 2003 gemeinsam mit Steven Pickles das Projekt q3apd entwickelt, das eine modifizierte Spielumgebung des populären Spieles Quake III Arena (ID Software 1999) für Soundperformances verwendet. Dabei wurden Handlungen innerhalb der Spielumgebung mit neuen Klangparametern versehen und live in Szene gesetzt. Auch die Arbeit QQQ (2002) des britischen Künstlers Nullpointer (Tom Betts) appropriiert den Code des Online-Shooters Quake III, indem jene Parameter der Game Engine, welche die Repräsentation von Sound und Grafik steuern, derart modifiziert werden, dass die Handlungen der Online-SpielerInnen sich in einen abstrakten Strom von Bildern und Tönen verwandeln.

Die Arbeit RC (1999–2001) des spanischen Künstlers Retroyou (Joan Leandre) greift über eine Veränderung des Softwarecodes eines Autorennspieles in die Simulation der Spielphysik sowie der grafischen Repräsentation ein. Dadurch wird die audiovisuelle Ebene des Spieles zu einem interaktiven Performance Tool umfunktioniert, das mit einem Lenkrad angesteuert werden kann und so eine eindrucksvolle dynamisch-abstrakte Collage der verschiedenen visuellen und auditiven Spielelemente (Autofragmente, Explosionen, Elemente der Rennstrecken usw.) realisiert. Diese Beispiele exemplifizieren, wie KünstlerInnen und ProgrammiererInnen auf der Basis existierender, aus der Industrie stammender Hard- und Software innovative und eigenständige Installationen und Performance-Werkzeuge entwickeln. Dabei geht es, im Unterschied zur Appropriation in der modernen Kunst des 20. Jahrhunderts, weniger um den Verweis auf den ursprünglichen Kontext des verwendeten Materials, sondern eher um die experimentelle Verwandlung bestehender Software mit dem Ziel, neuartige audiovisuelle Situationen automatisch zu generieren. Der veränderte Code aller oben genannten Werke wird von den KünstlerInnen auf deren Websites zum Download angeboten, was dem Publikum die Möglichkeit weiterer Experimente oder Kollaborationen eröffnet.

7 Music Video Games in der interaktiven Kunst

Die audiovisuelle Installation Small Fish (1999) von Masaki Fujihata, Kiyoshi Furukawa und Wolfgang Münch ist zwar in ihrer Funktionsweise an Computerspiele angelehnt, stellt jedoch keine direkte Appropriation, sondern eine vollkommen unabhängige Entwicklung im Bereich der interaktiven Kunst dar.

Small Fish ist eine interaktive grafische Partitur, die es den BenutzerInnen möglich macht, per Mausklick Kreise, Punkte und Linien mit Klängen zu koppeln und diese visuellen Elemente in Bewegung zu versetzen, sodass eine musikalische Struktur entsteht. In diesem Sinne lädt die Installation zum Spielen mit verschiedenen grafischen und klanglichen Parametern ein. Diese Art der algorithmisch gesteuerten Erzeugung musikalischer Form kann als Active Score Music bezeichnet werden – ein Begriff, der an den Titel eines Live-Performance-Events im Rahmen des Ars Electronica Festivals (2000) angelehnt ist, bei dem Scribble (2000) von Golan Levin, Gregory Shakar und Scott Gibbons sowie Small Fish Tales (2000) von Kiyoshi Furukawa präsentiert wurden. Small Fish Tales verwendet die für Small Fish entwickelte Software für eine Performance vor Publikum. Scribble basiert auf Golan Levins Audiovisual Environment Suite (AVES), einer Sammlung von sieben unterschiedlichen interaktiven Systemen, die speziell für die Echtzeitperformance von abstrakten computergeneriertenr Animationen und Klängen entwickelt wurde. Die AVES-Instrumente stellen auch eine experimentelle Untersuchung innovativer Interfaces dar, die, obwohl sie intuitiv zugänglich sind, eine große Variabilität und zahllose individuelle Einstellungsmöglichkeiten für PerformerInnen bereithalten.

Auch das Musikinterface fijuu (2004) von Julian Olivier und Pix erscheint als neuartige und eigenständige Arbeit, die sich ihrer Nähe zu Computerspielen zwar bewusst ist, aber jenseits von direktem Modding oder Appropriation neue Ansätze der Interaktion zwischen Bild, Ton und BenutzerInnen erforscht.

Alle Fußnoten

[1] Steven L. Kent, The Ultimate History of Video Games: The story behind the craze that touched our lives and changed the world, New York 2001, S. 41–42.

[2] Claus Pias, Computer Spiel Welten, München 2000, S. 113. Laut Pias handelt es sich beim Pong-Geräusch um nichts weiter als das extrem verstärkte Knacken im Zeilenzähler, also um ein Eigengeräusch des Rechners, siehe hierzu Claus Pias, Die Pflichten des Spielers. Der User als Gestalt der Anschlüsse, in: Martin Warnke, Thomas Coy, Georg C. Tholen (Hrsg.): Hyperkult II. Zur Ortsbestimmung analoger und digitaler Medien, Bielefeld 2004, S. 326.

[3] Vgl. Michel Chion, Le Son, Paris, 1998

[4] Axel Stockburger, The Game Environment from an Auditive Perspective, DIGRA Level Up Conference (2003), University of Utrecht, Holland, S. 10, online unter http://www.stockburger.co.uk/research/pdf/AUDIO–stockburger.pdf.

[5] Michel Chion, Audiovision. Sound on Screen, New York 1994, S. 74.

[6] Claus Pias, Computer Spiel Welten, München 2000, S. 113. Axel Stockburger, The Rendered Arena, Modalities of Space in Video and Computergame, PhD Thesis, University of the Arts, London 2006, S. 202, http://www.stockburger.co.uk/research/pdf/Stockburger_Phd.pdf.

[7] Claus Pias, Computer Spiel Welten, München 2000, S. 113. Axel Stockburger, The Rendered Arena, Modalities of Space in Video and Computergame, PhD Thesis, University of the Arts, London 2006, S. 202, Andrew Clark, Designing Interactive Audio Content To Picture, 1992, S. 2, http://www.gamasutra.com/features/19991220/clark_01.htm.

[8] Martin Pichlmair, Fares Kayali, Levels of Sound: On the Principles of Interactivity in Music Video Games, Conference Proceedings, DIGRA Conference – Situated Play 2007, S. 424.

[9] Die australische Internetressource http://www.selectparks.net/ stellt diesbezüglich eine hervorragende Quelle dar.

Literaturliste

Audio-vision: Sound on screen
1994, Author: Chion, Michel Publisher: Columbia University Press

Computer-Spiel-Welten
2002, Author: Pias, Claus Publisher: Sequenzia

Designing Interactive Audio Content To-Picture
1999, Author: Clark, Andrew

HyperKult II: Zur Ortsbestimmung analoger und digitaler Medien
2005, Publisher: Transcript-Verl.

Le son
1998, Author: Chion, Michel Publisher: Nathan

Levels of Sound: On the Principles of Interactivity in Music Video Games
2007, Author: Pichlmair, Martin and Kayali, Fares

The Rendered Arena: Modalities of Space in Video and Computer Games
2006, Author: Stockburger, Axel

The game environment from an auditive perspective
2003, Author: Stockburger, Axel Publisher: Digra

The ultimate history of video games : from Pong to Pokémon and beyond : the story behind the craze that touched our lives and changed the world
2001, Author: Kent, Steve L. Publisher: Prima Pub

siehe auch

Personen
  • Al Acorn
  • Tom Betts
  • Michel Chion
  • Andrew Clark
  • Masaki Fujihata
  • Kiyoshi Furukawa
  • Scott Gibbons
  • Toshio Iwai
  • Steven L. Kent
  • Joan Leandre
  • Golan Levin
  • Wolfgang Münch
  • Julian Olivier
  • Claus Pias
  • Steven Pickles
  • pix
  • Gregory Shakar
  • Werke
  • Amplitude
  • Audiovisual Environment Suite (AVES)
  • Discs of Tron
  • Electroplankton
  • Elite
  • fijuu
  • FreQuency
  • Gitarrenheld
  • Gran Turismo
  • Metal Gear Solid
  • Otocky
  • PaRappa the Rapper
  • PlayStation 2 (PS2)
  • Pong
  • q3apd
  • QQQ
  • Quake III Arena (Quake 3)
  • retroYOU r/c
  • Rez
  • Rhythm Tengoku
  • Rockband
  • Scribble
  • SimTunes
  • Small Fish
  • Small Fish Tales
  • Space Invaders
  • Spacewar
  • Super Nintendo Entertainment System (Super Nintendo, Super NES)
  • Vib-Ribbon
  • X-Box (XBox)

  • Zeitrahmen
    1960 bis heute

    Alle Schlagwörter
  • Algorithmus (Kapitel 7)
  • Entgrenzung (Kapitel 5, 6)
  • Intermodale Analogie (Kapitel 5.1)
  • Notation (Kapitel 7)
  • Partizipation (Kapitel 6)
  • Performativität (Kapitel 6, 7)
  • Polysensualität (Kapitel 1, 4.1, 5.1)
  • Rhythmisierung (Kapitel 4, 5, 5.1)
  • Sampling (Kapitel 2)
  • Synchronizität (Kapitel 4)
  • Synthese (Kapitel 2, 5.2)
  • Verzeitlichung (Kapitel 4.2)


  • Körperschaften
  • Acornsoft
  • Ars Electronica Festival
  • ASCII Corporation
  • Atari
  • Harmonix
  • id Software
  • Konami Corporation
  • Massachusetts Institute of Technology
  • Maxis
  • Microsoft Corporation
  • Midway Games Inc.
  • NanaOn-Sha
  • Nintendo
  • Sony