Publikation

Modal sound synthesis for interactive virtual environments

  • Modale Sound-Synthese für Interaktive Virtuelle Umgebungen

Rausch, Dominik; Kuhlen, Torsten (Thesis advisor); Vorländer, Michael (Thesis advisor)

Aachen (2017, 2018)
Doktorarbeit

Dissertation, RWTH Aachen University, 2017

Kurzfassung

Diese Arbeit behandelt Methoden zur interaktiven Soundsynthese für Echtzeitanwendungen. Zunächst wird in einer Studie die Anwendbarkeit und der Nutzen von synthetisierten Vibrations-Sounds anhand einer Interaktionsaufgabe untersucht. Für das in der Studie verwendete Szenario -- der Benutzung eines virtuellen Bohrers -- liefert das akustische Feedback ähnliche Ergebnisse wie das haptische Vibrationsfeedback, sodass die Haptik durch synthetisierte Sounds ersetzt werden kann. Modale Synthese ist ein vielversprechender Ansatz für die automatische, physikalisch-basierte Synthese von Kontakt-Klängen. Die Modalsynthese analysiert die Geometrie und Materialeigenschaften eines Objektes, um charakteristische Vibrationsmoden zu bestimmen. Allerdings bestehen noch Probleme für die Anwendbarkeit der Modalsynthese für Echtzeit-Anwendungen, die in dieser Arbeit behandelt werden. Um Modale Sound-Synthese nutzen zu können, werden Objekte mit einer Modalanalyse analysiert, um ihre Moden zu bestimmen. Die Modalanalyse ist zeitaufwändig, und wird in der Regel vorab berechnet. Für Objekte, die nicht vorverarbeitet werden können, muss die Modalanalyse zur Laufzeit durchgeführt werden. Diese Arbeit stellt Methoden vor, um in interaktiven Anwendungen die Modalanalyse zur Laufzeit zu ermöglichen. Hierfür werden die Laufzeitanforderungen analysiert und passende Approximationsmethoden vorgestellt. Mit der Modalsynthese werden zur Laufzeit Moden angeregt und ihre Vibration verwendet, um Klänge zu generieren. Die Moden-Anregung und ‑Auswertung erfordert viele Berechnungsschritte, die die Modenanzahl - und damit die Anzahl und Komplexität von klingenden Objekten -- begrenzt. Um eine hohe Zahl an Moden zu ermöglichen, werden spezielle Methoden, insbesondere zur Nutzung von Grafikkarten, vorgestellt, um die Laufzeit-Synthese zu beschleunigen.

Einrichtungen

  • Virtual Reality Group [124170]
  • Lehr- und Forschungsgebiet Virtuelle Realität und Immersive Visualisierung [124620]
  • Fachgruppe Informatik [120000]