Virtuális akusztikai valóság és auralizáció Huszty Csaba, Augusztinovicz Fülöp

Virtuális akusztikai valóság és auralizáció

• Huszty Csaba, Augusztinovicz Fülöp

• [e-mail], [e-mail]

Bevezetés

• Virtuális akusztikai valóság

• A hangtér reprodukciója (1950)

• Tér- és irányérzékelés

• Valóságos hangtér utólagos előállítása

• Surround rendszerek
• Felvételi technikák
• Teremakusztikai mérések alkalmazása
• Konvolúciós zengetés
• Jelfeldolgozási követelmények
• A mérések alkalmazásának korlátai
• Kreatív beavatkozási lehetőségek a hangtér módosítására

Tér- és irányérzékelés

• Szintkülönbség (Interaural Level Difference, ILD)

• A fej takaró hatása
• Diffrakció (fejnél nagyobb hullámhossz)
• Aluláteresztő hatás (fejnél kisebb hullámhossz)

• Fázis és időkülönbség (Interaural Time Difference, ITD)

• ITDmax ~= 0.8 ms
• Kis frekvencián megbízható irányérzékelés

• Fej, fülkagyló, test irányfüggő szűrőhatása (Head-related Transfer Function, HRTF)

• Előre-hátra irányú hangoknál csak HRTF
• ~30 dB nagyságrend

• Pontosság

• (x) Előre-hátra irány: 2 fok
• (y) Oldalt: 7 fok
• (z) Felül: 14-20 fok

• Teremben

• Direkthang alapján (precedence effect)

Surround rendszerek és felvételi technikák

• Cél: Hangtér-reprodukció

• Önálló rendszer (pl. hangverseny hangfelvétele)
• Kiegészítő rendszer (pl. vizuális tartalomhoz)

• Optimális térrész (sweet spot)

• Surround rendszerek fajtái

• Hangsugárzó-elrendezést vagy hordozó médiumot/formátumot definiáló
• Fejhallgató, ITU 5.1, 7.1
• Dolby Digital, DTS
• rögzítést és visszajátszást (panoráma dekódolást) definiáló
• Wavefield szintézis
• Ambisonics

Surround rendszerek és felvételi technikák

• Hangsugárzó-elrendezést vagy hordozó médiumot/formátumot definiáló

• Fejhallgató
• ITD (fázis) jól érvényesül, mert
• Nincs áthallás
• ILD (szint) hatása túlzó, ha hangsugárzóra optimalizálták a felvételt
• Nincs HRTF
• Hangsugárzó-rendszerek
• ILD (szint) dominál, de kisfrekvencián ITD
• Áthallás
• Lehallgató helyiség teremakusztikai viszonyai
• Teremakusztikai tervezés
• Hangsugárzó-rendszer helyes beállítása (késleltetés, frekvenciamenet, szintek)

Surround rendszerek és felvételi technikák

• rögzítést és visszajátszást (panoráma dekódolást) definiáló

• Hullámtér (Wavefield) szintézis
• Huygens-elv
• Térbeli mintavételezési korlát (pl. 1 kHz – 17 cm)
• Ambisonics
• Hangtér térbeli (3D) rekonstrukciója 1 pontban gömbfüggvényes felbontással
• Első rendű felbontás: B-format
• Tetszőleges hangsugárzó-elrendezésre, virtuális mikrofonok
• Főirány forgatása, iránykarakterisztika állítása utólag

Teremakuszikai mérések alkalmazása

• Teremakusztikai mérések: rendszerelméleti feltételezések

• lineáris, kauzális, időinvariáns

• Alapelv

• Energia-maximalizálás
• kiterjesztett spektrumú moduláció
• szögmoduláció
• Dekódolás: illesztett szűrő (korrelációs vevő)

• Szélessávú szubmoduláció

• Dirac autokorrelációs függvényű pszeudo-véletlen kód (pl. MLS)
• véletlen zaj

• Keskenysávú szubmoduláció

• szinuszos pásztázó jel

Teremakusztikai mérések alkalmazása

• Konvolúciós zengetés

• LTI rendszer
• gerjesztés [konvolúció] impulzusválasz = zengetett hang

• Implementáció

• Időtartománybeli (FIR)
• Frekvenciatartománybeli (FFT)
• Egyblokkos vagy partícionált

Teremakusztikai mérések alkalmazása

• Jelfeldolgozási követelmények

• Előfeldolgozás zengetéshez
• Zaj
• mérés: ~ 20 – 60 dB
• CD-minőség: ~ 98 dB
• Illesztés a lecsengéshez
• Direkthang és talajreflexió detekciója

• A módszer alkalmazhatóságának korlátai

• Forrás iránykarakterisztikája
• Nincs gömbi hangforrásunk
• Van-e a zengetni kívánt hangban irányinformáció
• Forrás és hallgató rögzített pozíciója
• Teremgeometriát figyelembe vevő szimuláció
• Semleges lehallgatói környezet (hangsugárzós auralizációnál)
• Süketszoba
• Egyéb a teremérzetet befolyásoló hatások
• Egyéb érzékszerveink, kedélyállapotunk

Teremakusztikai mérések alkalmazása

• Kreatív beavatkozási lehetőségek

• Időbeli nyújtás-zsugorítás

• interpoláció, decimálás
• „sűrítés”, „ritkítás”

• Hangszínszabályozás

• Erősítés

• Késleltetés

A rendszer blokkvázlata

Alkalmazási lehetőségek

• Zeneszerzők: virtuális hangszerek, hangminta-gyűjtemények zengetése

• Hangmérnökök: hangstúdióban rögzített felvétel virtuális térbe helyezése

• Felhasználók: számítógépes játékok, filmek és videók

• Kutatási alkalmazások: auralizáció, szubjektív tesztek

• Egyéb alkalmazások: aktív teremakusztikai beavatkozások

Alkalmazások: konvolúciós zengetés

• Köszönöm a figyelmet!

• [e-mail]