Interaktive Physikalisch-basierte Sound-Synthese

Kontakt

Telefon

work
+49 241 80 29732

E-Mail

E-Mail
 

Während visuelles Feedback bei virtuellen Umgebungen meistens im Mittelpunkt steht, ist auch Sound ein wichtiger Aspekt. Akustisches Feedback ist in der Lage, die Glaubhaftigkeit von virtuellen Umgebungen zu verbessern. Allerdings ist der weit verbreitete Ansatz, vorher aufgenommene Sound-Samples zu nutzen, für interaktive Umgebungen meist nicht praktikabel, weil zu viele Samples im Vorhinein aufgenommen oder erstellt werden müssten. Gerade bei der Simulation physikalischer Objekte entstehen sehr viele Sounds durch Kollisionen zwischen Objekten. Die Sounds solcher Kollisionen beruhen auf verschiedenen Faktoren: das Material und die Form der Objekte, ebenso wie die Stärke und die räumliche und zeitliche Verteilung der Kollisionskräfte. Vor allem die letzteren Punkte sind schwer mit Sound-Samples wiederzugeben.

Um diese Probleme zu lösen wird eine physikalisch basierte Sound-Synthese genutzt, die interaktiv Kontakt-Sounds erzeugt. Kollisionskräfte rufen Vibrationen in einem Objekt hervor, die simuliert werden um die daraus resultierenden Sounds zu berechnen. Dieser Ansatz berücksichtigt die Geometrie, Materialeigenschaften und Aufprallkräfte der Objekte und ist so in der Lage interaktionsabhängige Sounds für beliebige Objekte zu erstellen, ohne diese Sounds vorher aufnehmen zu müssen. Allerdings ist die physikalische Simulation von Vibrationen der Objekte mit hohem Rechenaufwand verbunden und noch nicht in Echtzeit möglich. Deshalb wird die Modalanalyse benutzt, um die charakteristischen Schwingungsmoden (Frequenz und Dämpfung) des Objekts in einem Vorverarbeitungsschritt zu berechnen. Während der Laufzeit regen die auf das Objekt wirkenden Kräfte einen positionsabhängigen Satz von Moden an. Der Sound des gesamten Objekts wird dann in Echtzeit durch Aufsummieren der Beiträge der individuellen Moden berechnet.

  Beispiel einer Modalsynthese VR Group Verschiedene Kollisionspunkte auf dem Sound-Gitter regen einen spezifischen Satz von Moden an, welche summiert werden, um den Kollisions-Sound zu erzeugen.

Der vorgelagerte Prozess der Modalanalyse ermöglicht interaktive Sound-Synthese. Allerdings werden eventuell manche Objekte erst während der Laufzeit erzeugt (z. B. Scherben eines zerbrochenen Fensters). Des Weiteren beeinflussen dynamische Dämpfungs- und Kopplungseffekte den Sound eines Objektes, z. B. klingt ein Weinglas, das auf einem Tisch steht, anders als eines, das man in der Hand hält. Deshalb arbeiten wir an Methoden, die Modalanalyse und Kopplungseffekte interaktiv zu berechnen. Um dies zu erreichen beschleunigen wir den Analyseprozess durch Verwendung von Parallelisierungs- und Level-of-Detail-Ansätzen. Darüber hinaus untersuchen wir die Benutzung von Prognosen um die zukünftigen Simulationszustände vorherzusagen, sodass mehr Zeit für die Analyseberechnung zur Verfügung steht.

 

Kooperation

  1. Gemeinschaftsarbeit mit dem RWTH Institut für technische Akustik