Immersive audio is in het bijzonder sinds de recente integratie in consumentenelektronica en streamingplatformen (Apple, Facebook, Tidal, …) de academische en cinematische omgevingen ontgroeid. Er is echter een groot vacuüm aan de productiezijde omdat het muzikanten, componisten, producers en technici aan een haalbare werkwijze ontbreekt. Bij de creatie van een 3D muziekstuk moet men van het begin af aan het resultaat kunnen volgen in een realistische multiluidsprekersetup, die veelal te duur of niet draagbaar genoeg is. Vandaag zijn er grofweg twee opties voor een geluidsopname op locatie: het opstellen van een constructie met veel luidsprekers in een goed afgescheiden ruimte, of een som van de bronnen beluisteren op een stereo koptelefoonsysteem en hopen dat alles goed zal klinken in post-productie. Dit is natuurlijk geen werkbaar model, maar vooralsnog is er geen oplossing die budget, tijd en kwaliteit in balans brengt.
Het Immersive Music onderzoek aan PXL-Music heeft enkele belangrijke inzichten opgeleverd, die aan de grondslag liggen van dit project. We zijn erin geslaagd willekeurige 3D luidsprekerconfiguraties geloofwaardig te vertalen naar een koptelefoonsysteem door een binaural rendering, waarbij niveaus, afstanden en obstakels van geluidsgolven worden gesimuleerd. Deze setup werd geïntegreerd met professionele hardware en software die de standaard is in de muziek- en filmindustrie, maar vergt nog twee afzonderlijke computers en een omslachtige configuratie. We konden ook vaststellen dat het in rekening brengen van de dure, gepersonaliseerde Head Related Transfer Function of HRTF beduidend minder bijdraagt dan een goed headtracking systeem, met het oog op realisme en bruikbaarheid.
We ontwikkelen en evalueren een toegankelijk systeem (mobiele setup met koptelefoon, headtracking, en software player die rendering van multiluidsprekerformaat naar binauraal verzorgt) op basis van reeds beschikbare bouwstenen waarmee tijdens compositie of opname de weergave op willekeurige 3D audioformaten gesimuleerd kan worden.
Jan Baerts
Tom Van Achte
Arthur Moelants
Robin Breugelmans
Brecht De Man