Der Rechner als Echtzeitfilmorchester
Ein Forscherteam an der Fachhochschule (FH) St. Pölten arbeitet an einer Software, mit der sich in Echtzeit Musik für Medienanwendungen wie interaktive Spiele und Filme ohne musiktheoretisches Fachwissen komponieren lässt. Intelligente Algorithmen sollen dabei die mangelnde Erfahrung der Laien ausgleichen. ORF.at traf die Entwickler des Tools zum Gespräch.
"GEMMA Musik machen", könnte in ein paar Jahren das Motto lauten, wenn sich junge Spiele- und Filmproduzenten treffen. Denn die verfügen meist über kein ausreichendes Budget, um für ihre Werke passende Musikkompositionen zukaufen zu können. Ein Software-Tool eines vierköpfigen Forscherteams an der FH St. Pölten soll kleinen, unabhängigen Medienproduzenten künftig die Arbeit erleichtern.
Das Software-Tool sei derart einfach zu bedienen, so dass keine musikalische Vorbildung in Disziplinen wie Akkord- und Harmonielehre nötig sei, erklärt Julian Rubisch, der am Projekt Generated Music for Media Applications (GEMMA) inhaltlich mitarbeitet. "Um gute Ergebnisse zu erzielen, braucht man aber freilich ein gewisses musikalisches Gefühl", fügt der Leiter des Projekts, Hannes Raffaseder, hinzu.
Zu den Personen:
Hannes Raffaseder leitet das Projekt GEMMA. Er ist zudem Studiengangsleiter des Studienzweigs Telekommunikation und Medien an der Fachhochschule St. Pölten und als Komponist tätig.
Julian Rubisch arbeitet an der Fachhochschule St. Pölten am Institut für Medienproduktion als Assistent und betreut GEMMA inhaltlich und technisch.
Das Projekt wird im Rahmen des Förderprogramms COIN der FFG aus Fördermitteln von bmvit sowie BMWFJ gefördert.
Emotionen als Grundbaustein
Das Tool soll musikalisch unerfahrenen Medienmachern dabei helfen, Sound herzustellen, der die vorhandenen visuellen Inhalte unterstützt und somit dabei hilft, die von den Kreativen beabsichtigte Stimmung herzustellen. Musik spiele in Medienproduktionen wie Filmen, Videos und Computerspielen vorwiegend eine emotionale Rolle, erklärt Raffaseder. Der Grundgedanke der Entwickler basiert daher auch auf einem Konzept aus der Psychologie, dem Circumplex-Modell des US-amerikanischen Psychologen James A. Russell.
Dieses Modell ist simpel. Auf zwei dimensionalen Achsen lassen sich viele verschiedene Gefühlszustände abbilden, erklärt Rubisch. Die Achsen bilden einerseits aktive und passive Affekte und Emotionen, andererseits negative und positive Assoziationen ab. "Mir als Komponist ist diese Reduktion der gesamten Stimmungspalette auf zwei Dimensionen zuerst eigenartig vorgekommen, aber bei unseren Versuchen und Testreihen hat sich gezeigt, dass es sehr gut funktioniert", ergänzt Raffeseder.
Selbstständige Reaktion im Spiel
Mittels mathematischem Verfahren errechnet die Software anhand von verschiedenen Parametern, die der Nutzer eingibt und die unter anderem diese emotionale Seite der Musik wiederspiegeln sollen, entsprechende Melodien. Insgesamt wollen die Forscher den Medienproduzenten bis zu acht verschiedene Parameter zur Auswahl stellen. Das Tool wird entsprechend einfach zu bedienen sein und soll sich im Gegensatz zu komplexen Sequencern selbst erklären, so Rubisch.
Das Software-Tool sei daher in Abhängigkeit von vordefinierten Parametern auch in der Lage, in Echtzeit auf einen unvorhersehbaren Spieleverlauf zu reagieren. Falls der Spieler beispielsweise in einer Notsituation stecke, generiere das Tool von selbst dramatische Musik, erklärt Rubisch.
Parameter noch nicht fixiert
Da sich die Software derzeit noch im Entwicklungsstadium befindet, ist noch kein Prototyp verfügbar. Dieser soll erst im Herbst kommen. Auch die exakten Parameter, die eingesetzt werden, stehen noch nicht fest. "Als wesentlich gelten Beat und Tempo sowie die klangliche Dichte, die Klangfarbe und die Instrumentierung", so Raffaseder.
Als schwierig empfinden die Forscher hierbei vor allem, dass sich gewisse Parameter nicht widersprechen dürfen. "Langsame Musik, die hektisch ist", nennt Raffaseder als "unmögliches" Beispiel. Doch auch die Frage, ob das Tool die Sounds ausschließlich selbst kreiert, oder ob auch Sounddatenbanken mit Instrumenten eingesetzt werden, ist noch ungeklärt.
Einsatz von Sounddatenbank in Planung
"Derzeit gibt es noch nichts Vorgefertigtes. Aber zukünftig wollen wir sehr wohl Sample-basiertes Material miteinbringen, das von unserem Tool neu zusammengesetzt und verändert wird. Dazu müssen wir aber erst eine Schnittstelle entwickeln, die wir noch genauer definieren müssen", so Raffaseder.
Eine Grundlage für die Auswahl und Einbringung von Musikvorschlägen ist die ebenfalls an der FH St. Pölten entwickelte Soundeffektdatenbank AllThatSounds. Die Datenbank, die von Raffaseder und seinen Studierenden entwickelt wurde, sucht selbstständig nach ähnlichen Sounds. "Daraus lassen sich gewisse Prototypen für bestimmte Filmszenen generieren. Diese fließen dann ins Tool mit ein", so Raffaseder.
Die Software, die derzeit im modularen Multimedia-Entwicklungssystem Max/MSP geschrieben wird, läuft derzeit zudem testweise im Software-Sequenzer Ableton Live. "Man kann jetzt das Max/MSP im Ableton Live verwenden, um dort Audioeffekte zu generieren. Das ist ein Anknüpfungspunkt für uns", so Rubisch.
Wahrnehmung versus Technik
Das Hauptproblem bei der Entwicklung des Software-Tools sieht Raffaseder darin, dass die Informatik im Bezug auf neuronale Netze und Simulationen zwar bereits erstaunlich weit sei, aber dafür im Bereich der Medienmusik noch extreme Forschungslücken vorhanden seien. "Unsere Arbeit ist in dem Bereich noch Pionierarbeit", so der Leiter des Projekts. Die interdisziplinäre Arbeitsweise, sowohl auf Methoden aus der Informatik als auch aus der Wahrnehmungsforschung zurückzugreifen, sieht Raffeseder als große Stärke des Projekts.
"Wir wollen damit allerdings auch eine semantische Lücke schließen", erklärt Raffeseder. Es komme immer wieder vor, dass etwa Filmregisseure und Komponisten nicht "dieselbe Sprache" sprechen würden, wenn es um Details von Musikkompositionen gehe. Die einen würden von technischen Details sprechen, den anderen gehe es um Wahrnehmungsaspekte, so der Forscher von GEMMA. Das Tool soll eine Schnittstelle werden, die die technische Beschreibung und die Wahrnehmung von Musik zusammenführt. "Wir wollen ja nicht die Komponisten wegrationalisieren", fügt Raffeseder hinzu.
"Wir stopfen ein Loch"
Die Idee für ein derartiges Musik-Software-Tool ist allerdings nicht neu. Mit Brian Enos iPhone-Anwendung "Bloom" und auch der Anwendung RjDj des österreichisch-britischen Unternehmens Reality Jockey gibt es bereits mehrere erfolgreiche generative Kompositionsgeneratoren. "Die Forderung nach interaktiver Musik wird immer größer. Die Leute wünschen sich, wieder mehr zu interagieren. Mit unserem Tool stopfen wir ein Loch im Bereich der Medienmusik", meint Raffeseder.
Ob das Software-Tool, wenn die Forschungsarbeit in etwa zweieinhalb Jahren abgeschlossen ist, wie die Sounddatenbank AllThatSounds frei zur Verfügung gestellt wird, ist noch ungewiss. "Es kann sein, dass wir gleich ein kommerziell verwertbares Produkt darauf entwickeln. Da ist derzeit noch einiges im Fluss", so der Forschungsleiter.
(futurezone/Barbara Wimmer)