• Zvukovou zpětnou vazbu s jasnou funkcí a prioritou.
• Hudbu, která reaguje na herní stav a zachovává hudební návaznost.
• Mix, v němž důležitý dialog nebo varování nezanikne.
• Alternativu pro hráče, který zvuk neslyší nebo vypne.
• Malý implementační plán pro skladatele, zvukaře a programátora.

V průběhu: modality, výklad Adama Sporky, prostorový zvuk, hudební vrstvy, mix a popisky zvuku. Poslech je vždy volitelný.

Modalita je konkrétní způsob vnímání informace. Ve hře rozhodujeme, které vjemy zprostředkujeme a čím je předáme hráči.

Herní svět zahrnuje více vjemů, než dokáže běžná obrazovka sama reprodukovat.

Úvodní výklad převedený z původní P02, snímky 3–4.

• Kontrast, obrys a pohyb pomáhají rozlišit relevantní objekt.
• Barvu doplňuje tvar, text nebo jiný rozlišovací znak.
• Pach, zvuk nebo zvláštní schopnost lze reprezentovat obrazovou stopou.
• Efekt potřebuje vazbu na herní pravidla, aby zůstal srozumitelný.

Převedeno z obrazové části P02. Xbox XAG 103: předání informace více kanály

• Vibrace může potvrdit kontakt, zásah nebo změnu stavu.
• Odpor ovladače či zařízení může zprostředkovat vlastnost interakce.
• Rozlišujeme intenzitu, rytmus a místo působení.
• Hráč může haptiku vypnout nebo nemít podporované zařízení.

Radiální menu patří především k návrhu ovládání. Rovnováhu zprostředkuje vestibulární vnímání, které posuzujeme odděleně od hmatu.

Zachované téma i ilustrace z hmatové části P02. Kritický signál potřebuje dostupnou alternativu.

• Čich vnímá chemické látky. Na běžné obrazovce vůni fyzicky nereprodukujeme.
• Hra může pach předat obrazem, textem nebo reakcí postavy.
• Stopa potřebuje pravidla směru, síly, stáří a zániku.
• Pachový hardware přináší vlastní omezení náplní a ovládání výstupu.

Téma a příklady z čichové části P02. Návrh nevyžaduje sporné biologické hypotézy ani nepodložené počty rozlišitelných vůní.

Převod navrhujeme podle informace, kterou má hráč získat.

Alternativa musí zachovat důležitý význam i načasování. Nemá nechtěně odhalit informaci navíc.

Vlastní příklad navazující na původní úvod. Xbox XAG 103

Hráč může podle zvuku zjistit, co se stalo, kde je zdroj a jak naléhavě má reagovat. Ve zvukové hře může sluch nést hlavní část interakce.

Kritickou informaci zpřístupníme také jiným smyslovým kanálem.

Zdroj: Xbox XAG 103: více kanálů pro herní signály

Cutscéna se může chovat jako film. Průzkum, souboj a opakovaný pokus obvykle potřebují jinou logiku.

Foley označuje tvorbu synchronizovaných efektů provedením či nahráním akce: například kroky, oděv nebo manipulaci s předměty. Vztahuje se i na jiné postavy než avatara.

Pracovní označení pro tuto přednášku. Strukturu sběrnic může tým uspořádat jinak.

Diegetický zvuk patří do vyprávěného světa. Nediegetický zvuk komentuje dění nebo informuje hráče mimo perspektivu postav.

Diegetičnost, prostorové umístění a počet výstupních kanálů posuzujeme samostatně.

• Podobné události potřebují rozpoznatelnou příbuznost zvuků.
• Různé významy musí hráč odlišit i v husté scéně.
• Varování potřebuje předstih odpovídající požadované reakci.
• Potvrzení výsledku navazuje na akci bez matoucího zpoždění.

Návrhová zásada: konzistentní význam. Výsledek ověřujeme na konkrétní situaci a hráčích.

• Výšku a spektrum: tónové složky, šum, jasnost.
• Hlasitost: vnímanou intenzitu, kterou ovlivňuje také spektrum a okolní zvuky.
• Barvu: kombinaci spektrálních a časových vlastností.
• Obálku: nástup, průběh a doznívání.
• Rytmus a prostor: časový vzorec, směr a charakter místa.

Výška složitého zvuku nemusí odpovídat jediné frekvenci. Stejná amplituda také nezaručuje stejnou vnímanou hlasitost.

• Časový průběh pomáhá najít nástup, ticho nebo ořezání signálu.
• Spektrogram ukazuje změny frekvenčního obsahu v čase.
• Analýza pomáhá při hledání maskování, ruchu i opakování.

Spektrogram obvykle nenese přímo význam „nepřítel za dveřmi“. Pro hráče potřebujeme srozumitelný signál, nikoli jen technickou vizualizaci.

Dvanáctirozměrný vektor v původní přednášce je příklad konkrétní reprezentace témbru, nikoli jeho obecná definice.

U každého efektu určíme zdroj, událost a informaci, kterou má hráč získat.

Realističnost volíme podle stylu hry. Zpětná vazba má zůstat čitelná i tam, kde záměrně zvětšujeme nebo stylizujeme detail.

• Několik variant nahrávky omezí nápadné opakování.
• Pravidlo „neopakovat poslední“ může pomoci více než čistý náhodný výběr.
• Malou změnu výšky či hlasitosti používáme jen tam, kde zachová charakter zvuku.
• Četnost hlášek a upozornění omezujeme samostatně.
• Hráčovy kroky potřebují jiný rozpočet než stovka vzdálených kroků davu.

• Prostředí pomáhá poznat místo, aktivitu i změnu situace.
• Základní smyčku doplňují řídké lokální události.
• Vstup do oblasti nemá spustit všechny zdroje najednou.
• Dav nebo hejno mohou používat společnou atmosférickou vrstvu.
• Záměrné ticho vytváří kontrast a prostor pro významný signál.

Každý pohyb nemusí mít slyšitelný zvuk. Výběr zdrojů vychází z funkce, stylu a potřebné pozornosti.

• Určíme polohu zdroje a posluchače.
• Rozhodneme, zda posluchač sleduje kameru, avatara nebo jiné místo.
• Zvuk musí odpovídat souřadnicím a orientaci herního světa.
• Přechod kamery nebo teleport vyžaduje kontrolu návaznosti.

Vzdálenost, překážka a prostředí mění více vlastností než samotnou hlasitost.

Zdroj: Unreal Engine: Sound Attenuation

Počet kanálů zdrojového souboru neurčuje celý prostorový zážitek. Test zahrnuje skutečný řetězec od zdroje po výstupní zařízení.

Zdroj: Web Audio: equal-power a HRTF panning

• Útlum: křivka podle vzdálenosti a herního měřítka.
• Překážka: například zeslabení a potlačení vyšších frekvencí.
• Dozvuk: odlišný charakter místnosti, chodby a otevřeného prostoru.
• Přechod: plynulá změna při průchodu dveřmi nebo mezi oblastmi.

Jednoduchý raycast je aproximace. Směrování přes dveře, odrazy a šíření kolem rohů může vyžadovat jiný model.

Zdroj: Unreal Engine: attenuation, occlusion a reverb

Vyzkoušejte směr a překážku odděleně. Jakou informaci ztrácíme po přepnutí do mono?

Lineární, inverzní a mocninný příklad vycházejí z modelů Web Audio. Logaritmická křivka je vlastní vzorec, nikoli implementace stejnojmenné křivky Unreal Engine.

Mix určuje, co hráč v daný okamžik rozpozná. Zdroje si konkurují v čase, frekvencích i pozornosti.

• U významného dialogu může ustoupit hudba a okolní ruch.
• Bezprostřední varování může mít přednost i před řečí.
• Vzdálený detail obvykle nemusí přehlušit hráčovu akci.
• Řešení maskování zahrnuje aranžmá, filtraci i načasování.

Master
├─ Dialog
├─ Hudba
├─ Efekty
│  ├─ Hráč
│  └─ Okolní události
├─ Prostředí
├─ Rozhraní
└─ Hlasová komunikace

Ilustrační struktura. Rozdělení vychází z potřeb konkrétní hry. Wwise: Mixing Desk

Hlas zde znamená jednu přehrávanou zvukovou instanci. Priorita pomáhá rozhodovat, které instance zachovat při omezeném počtu skutečně znějících hlasů.

• Relativní význam určuje návrh hry, nikoli univerzální tabulka DX / MX / SFX.
• Hlasitost a priorita plní rozdílné úlohy.
• Virtualizovaný hlas může udržovat čas přehrávání a znovu se stát slyšitelným.

Zdroj: Unity 6: AudioSource.priority. Hodnoty mezi enginy nepřenášíme bez ověření.

• Skupina může mít limit současně aktivních instancí.
• Při překročení limitu lze odmítnout novou, ukončit nejstarší nebo méně důležitou instanci.
• Krátká ochranná prodleva brání zbytečnému opětovnému spouštění.
• Plynulé ukončení omezuje rušivé useknutí zvuku.

Limit zvolíme zvlášť pro dav, výbuchy a důležitá varování. Rozpočet kontrolujeme poslechem i profilováním na cílové platformě.

Zdroj: Unreal Engine: Sound Concurrency

Ducking dočasně zeslabí jinou vrstvu, například hudbu během řeči.

• Určíme, kdo změnu vyvolá a které vrstvy mají ustoupit.
• Nástup, čekání po konci řeči a návrat potřebují vhodné časy.
• Krátké pauzy mezi větami nemají způsobovat neustálé „pumpování“.
• Událostí řízený útlum a sidechain podle úrovně signálu jsou různé možnosti.

Zvýšení hlasitosti dialogu je jen jedna možnost. Nejprve hledáme, co řeč maskuje.

Zdroj: Wwise: ducking zvukových sběrnic

Které řešení pomáhá porozumění? Samotné zesílení řeči nemusí vyřešit dvě současná důležitá sdělení.

• Posuvník amplitudy nemusí působit jako rovnoměrná změna hlasitosti.
• Pro poměr amplitud používáme 20 log₁₀(A₂ / A₁) dB. Pokles asi o 6 dB znamená přibližně poloviční amplitudu.
• Dynamický rozsah mixu popisuje rozdíl mezi tichými a hlasitými pasážemi.
• Komprese může zmenšit rozdíly. Limiter hlídá špičky signálu. Obě úpravy mohou změnit charakter zvuku.

Předvolba pro tichý pokoj a malý reproduktor může fungovat jinak než mix pro sluchátka. Ověřujeme také nízkou hlasitost.

Hodnoty digitálního signálu nezaručují bezpečnou hlasitost ucha. Ukázky začínejte se ztlumeným zařízením.

• Identita: motiv postavy, frakce nebo místa.
• Interpretace: důvěra, hrozba, nostalgie, ironický odstup.
• Tempo prožitku: pocit klidu, očekávání nebo naléhavosti.
• Struktura: začátek, vyvrcholení, výsledek a návrat ke klidu.
• Herní informace: změna stavu, pokud ji návrh záměrně sděluje.

Hudba nemusí komentovat každou událost. Rozhodujeme také, kde ustoupí dialogu, prostředí nebo tichu.

Krátký rozpoznatelný motiv může spojit odlišné scény. Jeho změna může reagovat na vztah k postavě nebo vývoj situace.

• Instrumentace, tempo, hustota a harmonie ovlivňují výsledný charakter.
• Stejný motiv lze uvést jemně, neúplně nebo v jiné rytmické podobě.
• Význam závisí na kontextu, opakování a zkušenosti posluchače.
• Poučka „moll = smutek“ sama o sobě nestačí pro návrh scény.

• Jakou roli má hudba v dané scéně a co už sdělují jiné vrstvy?
• Jak dlouho může situace trvat a kolikrát ji hráč opakuje?
• Jaké stavy, motivy a přechody musí materiál pokrýt?
• Které samostatné vrstvy a segmenty potřebuje implementace?
• Jak se hudba zachová při pauze, smrti, načtení a přerušení?

Zadání obsahuje ukázku herní situace, omezení a způsob integrace. Samotné „chceme něco epického“ nedává dost podkladů.

Adaptivita popisuje reakci, generování způsob vzniku. Generativní systém nemusí reagovat na hru a adaptivní systém může pracovat s hotovými nahrávkami.

Pracovní terminologie pro tuto přednášku. Konkrétní systémy mohou oba principy kombinovat.

Časová pozice pokračuje. Systém přidává, ubírá nebo upravuje současně běžící hudební vrstvy.

Společné tempo, fráze a harmonická kompatibilita usnadní kombinování. Více vrstev automaticky neznamená jen hlasitější výstup.

Zdroj: Wwise: vertikální uspořádání interaktivní hudby. Tabulka je vlastní didaktický příklad.

Systém vybírá, který připravený hudební segment bude následovat.

Je třeba připravit návaznost vstupů a výstupů. Prolínání může pomoci, ale nevyřeší libovolný harmonický nebo rytmický nesoulad.

Zdroj: Wwise: horizontální uspořádání

• Přechod může nastat hned, na dobu, takt nebo připravený bod.
• Výchozí a cílový segment mají své podmínky vstupu a výstupu.
• Doznívání a přechodová fráze pomáhají zachovat návaznost.

Zdroj: Wwise: synchronizační body hudebních přechodů. Číselný příklad je výpočet pro zadané tempo.

Pro vstup a odchod můžeme zvolit různé prahy, minimální trvání nebo ochrannou prodlevu. Tím omezíme přepínání při každém drobném kolísání parametru.

Vlastní návrhový příklad. Ochrana přechodu nesmí zpozdit kritický zvukový signál.

Změňte stav uprostřed taktu. Sledujte rozdíl mezi požadavkem hry a slyšitelnou změnou hudby.

• Smyčka: potřebuje návazný začátek a konec, případně samostatné doznívání.
• Stinger: krátká hudební reakce nad právě hrající hudbou.
• Zakončení: umožní důstojně odejít ze soubojového nebo příběhového úseku.
• Odpočinek: méně intenzivní materiál nebo ticho omezí neustálé vyvrcholení.

Opakované stingers potřebují pravidlo souběhu a četnosti. Vítězný akcent nemá po každém drobném zásahu zakrývat zbytek mixu.

Zdroj: Wwise: hudební přechody a stingers

Zvukař a programátor sdílejí názvy, rozsahy, výchozí hodnoty i odpovědnost za změny.

Zdroj: Wwise: Game Syncs, States, Switches, RTPCs a Triggers

Audio může mít přístup k informacím, které postava ani hráč dosud neznají.

• Hudba souboje může odhalit nepřítele za zdí.
• Náhlé uklidnění může potvrdit, že už žádná hrozba nezbyla.
• Motiv zrádce může nechtěně předčasně odhalit jeho identitu.

• Rytmická mechanika potřebuje shodu zvukového času a vyhodnocení vstupu.
• Výstupní zařízení a jeho zpoždění ovlivní hráčovu zkušenost.
• Časovač vykreslování není dostatečný hudební plánovač.
• Kalibrace a obrazová či haptická alternativa pomáhají zvládnout různé podmínky.

Browserová ukázka plánuje tóny podle zvukových hodin. Není to plná rytmická hra ani měření celkové latence zařízení.

Zdroj implementačního principu: MDN: časování a sekvenování Web Audio

• Důležitý dialog má předvídatelné místo v mixu.
• Současné hlášky potřebují pravidla výběru, přerušení a opakování.
• Změna jazyka mění délku vět i načasování.
• Přerušení, přeskočení a znovunačtení mohou rozbít návaznost sdělení.
• Zásadní pokyn lze dohledat v deníku, logu nebo zopakovat.

Popisek vychází ze slyšitelné informace. Nemá nechtěně přidat přesnou pozici nebo identitu, kterou zvuk neprozrazuje.

Zdroj: Xbox XAG 104: subtitles a captions

• Nastavitelná velikost, stabilní kontrast a vhodný podklad.
• Krátké smysluplné řádky a přiměřená doba zobrazení.
• Rozlišení mluvčích také textem, ne pouze barvou.
• Směr u důležitých zdrojů mimo obraz.
• Nastavení před prvním dialogem a náhled v reálné scéně.

Současné zvuky potřebují čitelnou hierarchii. Neustálý výpis všech ruchů může překrýt důležitou informaci.

Zdroj: Xbox XAG 104. Konkrétní délky a umístění ověřujeme ve scéně.

Vypněte zvuk a spusťte událost. Potom vypněte i popisek. Co hráč potřebuje vědět, aby mohl jednat?

Zvuky kroků jsou stylizované syntetické impulzy. Xbox XAG 103

• Samostatné ovládání hudby, řeči, efektů a prostředí.
• V multiplayeru také hlasová komunikace.
• Volba stereo / mono, která zachová informace z obou kanálů.
• Pozastavení relevantních delších audio událostí, kde to herní režim dovolí.
• Vhodný útlum audia při čtení asistivní technologií.

Nastavení dává hráči kontrolu nad konfliktem mezi atmosférou a srozumitelností.

Zdroj: Xbox XAG 105: audio accessibility

Barva nemá nést význam sama. Haptiku lze vypnout nebo nemusí být k dispozici. Alternativa zachovává potřebný význam i čas.

Zdroj: Xbox XAG 103. Tabulka je vlastní návrhový příklad.

U trvalých událostí určíme také okamžik ukončení a chování při zániku objektu.

Zdroj rozdělení práce: Wwise: Game Syncs, role zvukaře a programátora

• Jasné názvy a verze souborů, seznam událostí a vlastník podkladů.
• Zdrojové projekty i dohodnuté exporty, vrstvy a varianty.
• Tempo, takt, vstupní / výstupní body, smyčka a doznívání hudby.
• Formát, kanály a konverze podle skutečné platformy a enginu.
• Texty dialogu, ID replik a lokalizační kontext.
• Evidence oprávnění k nahrávkám, hudbě a hlasům.

Nahrávka sama nestačí. Předáváme i pravidlo, kdy zazní, s čím se kombinuje a jak se zastaví.

• Počet hlasů, dekódování a efekty spotřebovávají výpočetní čas.
• Krátký kritický efekt a dlouhá hudba mohou potřebovat jiný režim načítání.
• Streaming snižuje potřebu držet celý soubor v paměti, přidává však jiné nároky.
• Přednačtení může pomoci prvnímu přehrání, záleží na implementaci.
• Testujeme nejhustší scénu a cílové zařízení.

Rozpočet určujeme měřením. Jedno univerzální číslo hlasů nebo datový formát nepokrývá všechny hry.

Zdroj principu omezení souběhu: Unreal Engine: Sound Concurrency

• U každého převzatého podkladu evidujeme autora, zdroj a podmínky použití.
• U hudby posuzujeme skladbu i konkrétní nahrávku.
• Oprávnění užít hudbu ve hře nemusí pokrýt stream, trailer nebo záznam.
• Režim pro streamery může nahradit problematické stopy. Jeho název sám žádné oprávnění nezaručuje.

Konkrétní rozsah určuje licence nebo dohoda s příslušnými držiteli práv. Nejde o právní stanovisko k jednotlivému projektu.

Zdroj: Twitch: hudba, nahrávky a rozsah oprávnění. Zvuky v této webové laboratoři vznikají synteticky, nepřehrávají převzaté skladby.

Zaznamenáme problém, podmínky a ověřitelný výsledek opravy. Rychlý průchod nenahrazuje testování s cílovými hráči.

1. Sepíšeme současné vrstvy DX, MX, SFX a BG.
2. U každé určíme informaci, funkci a důležitost.
3. Najdeme maskování, nadbytečné opakování a chybějící potvrzení.
4. Vybereme jednu konkrétní opravu s očekávaným přínosem.
5. Navrhneme porovnání původního a nového řešení.

Hodnotíme úsek a jeho podmínky. Samotný záznam nemusí odhalit nastavení hry ani záměr tvůrců.

Původní video, začátek 4:23

• Které akce zvuk potvrzuje?
• Jak se mění hlasitost a hudební charakter?
• Rozlišíme jednotlivé jednotky a prostředí?
• Co se nápadně opakuje?

Návrh pro společnou práci: vybrat jednu kritickou akci a dát jí jasné potvrzení i místo v mixu.

Historický příklad z P02.tex. Posuzujeme zvolený klip, nikoli kvalitu celé hry. Video se otevírá až po kliknutí.

Motorbike: 1:54–2:54

Povrch, motor, pohyb pilota, pád a dokončení.

Třetí původní klip: od 8:02

Rozdíly mezi materiály, vozidly a výsledky akce.

Najděte chybějící informaci, navrhněte efekt a rozhodněte, čemu má v mixu ustoupit.

Historické klipy z P02.tex. Třetí klip má v originálu znovu název „Motorbike“. Bez ověření mu nepřisuzujeme jiný titul.

20 minut ve skupině. Vyberte jeden z klipů nebo situaci z vlastního projektu.

1. Popište rozhodnutí, které má hráč udělat.
2. Pojmenujte jeden problém původního audia.
3. Navrhněte efekty, prostředí a pravidlo hudebního přechodu.
4. Napište tři krátké repliky nebo popisky. Určete, kdy mohou zaznít a kdo je přeruší.
5. Navrhněte kontrolu s vypnutým zvukem a porovnání před / po.

Výstup: události, parametry, priority a dvě ukázky textu. Nové řešení má odstranit pojmenovaný problém.

Ještě k diskusi: může být diegetická hudba prostorová? Znamená mono, že se smí ztratit zvuk z pravého kanálu?

Pokračování k diskusi: stačí ducking, když oba současné hlasy nesou stejně důležité pokyny?

Pokračování k diskusi: jak předáme pachovou stopu, když hráč nemá pachový výstup?

• Každý důležitý zvuk má funkci a rozpoznatelný význam.
• Hudba má pravidla stavů, přechodů i opakování.
• Mix chrání potřebné informace v nejtěžší scéně.
• Kritická informace funguje i při vypnutém zvuku.
• Text a alternativní signály zachovávají význam a čas.
• Implementace zvládá souběh, přerušení a načítání.
• Tým umí předat podklady a ověřit konkrétní opravu.

• Adam Sporka: převzatá schémata z původních snímků 33–37. Sporka a Valta (2017): Design and implementation of a non-linear symphonic soundtrack of a video game
• Audiokinetic Wwise: Interactive Music, hudební přechody, Game Syncs
• Unity 6: AudioSource.priority
• Unreal Engine: Sound Concurrency a Sound Attenuation
• Xbox Accessibility Guidelines: 103: alternativní kanály, 104: titulky a popisky, 105: audio
• W3C: Web Audio a MDN: audio sekvenování
• Twitch: hudba a oprávnění

Primární dokumentace. Schémata mixu, herní situace a auditní otázky jsou vlastní didaktické příklady. Historické obrázky a klipy pocházejí z P02.tex.

Jakou informaci potřebuje hráč právě teď?

Jak ji zvuk a hudba podpoří? Co ji může zakrýt? Jak ji hráč získá bez poslechu?

Přehled oprav a rozšíření ve variantě 2