Rozšířená realita
AR / MR / XR — pojmy, historie, tracking a využití v praxi
Základní pojmy
Spektrum AR, VR, MR
Reálné prostředí a virtuální prostředí jsou dva konce spektra — mezi nimi leží kontinuum smíšené reality:
Základem je Milgramovo kontinuum reality–virtuality (Paul Milgram, 1994): reálné prostředí → AR → augmented virtuality (AV) → virtuální prostředí. Vše mezi oběma konci — včetně AR i VR — označujeme jako Mixed Reality (MR).
Smíšená realita (AR)
Augmented Reality
Charakteristické vlastnosti dle Azuma
(1997):
- Kombinace reálného a virtuálního obrazu
Obojí je vidět zároveň.
- Interaktivní v reálném čase
Digitální obsah reaguje na vstup uživatele.
- Registrace objektu v prostoru
Virtuální objekty jsou pevně ukotveny v prostoru.
-
Rozšíření definice (Azuma et al., 2001)PaperKoncept rozšířen o mobilní a outdoor AR — scéna už nemusí být jen vnitřní, ale i venkovní, přenášená.
Ukázky
AR — Kde se používá?
- AR Marketing
- Produktové vizualizace a kampaně
- TV: Volby, sporty, počasí
- Hry: Pokemon Go, Wizards Unite, …
- E-commerce: Shopify AR, Google Search 3D/AR objekty
- Sociální sítě: TikTok / Instagram filtry
- Průmysl: servis, montáže, prodej
Historie
- HUD v letadlech: Head Up Display v kokpitech.
- 1992 – Louis Rosenberg: Virtual Fixtures (US Air Force) — první fungující AR systém s vizuální i hmatovou odezvou.
- Od 1990 – Boeing: AR pro zapojování drátů.
- Od 1994 – akademický výzkum: teorie a knihovny.
- Od 1999 – ARToolKit (open source).
- Od 2005 – komerční využití.
- 2007 – Mainstream (Economist, MIT Tech Review).
- 2009 – časopisy (Esquire, Wired, …).
- 2024 – nástup VST MR: Apple Vision Pro a Meta Quest 3 — přechod k masovému video-see-through.
V mobilu (od 2005)
Potřebný HW v zařízení
Kamera, procesor, displej, senzory.
- Optimalizace: jednodušší modely, zjednodušené rozpoznání obrazu.
- Možná spolupráce více uživatelů.
- 2007 – reklamy v tisku (print AR).
AR v browseru, 2008
- ARToolKit portováno do Flashe (2008).
- Mnoho uživatelů: 1,6 mld. uživatelů internetu.
- Levný HW: kamera + browser.
- Jednoduchý vývoj: hodně knihoven.
2009 – informační vrstva přes realitu
Pro mobily
Info vrstva podle lokace: GPS, kompas.
- Aplikace: průvodci, reklama.
- Příklad: Wikitude a podobné lokální prohlížeče.
2011 – Google Glass & další
2016 – Microsoft HoloLens
- Průhledný displej (Holographic lenses).
- Kamera pro 3D skenování prostoru.
- Ovládání hlasem a gesty.
- Podzim 2019 – HoloLens 2:
- 2K displej.
- 4 kamery pro lokaci, 2 pro oči, 1× ToF 1 MPix.
- Snapdragon 850, 4/64 GB.
- Cena ≈ $3500.
- Aktuální stav: vývoj HoloLens 2 byl utlumen (Microsoft IVAS pro armádu USA) — důraz se přesouvá na passthrough headsety.
2018 – Magic Leap ML-1
- Displej: 40×30° FOV, 1280×960, eye-tracking.
- Oddělený displej od počítače (lightpack).
- CPU: Nvidia Tegra X2.
- RAM / úložiště: 8 GB / 128 GB.
- 6-DoF ovladač (controller).
- Magic Leap 2 (2022/2023): nová generace s dynamickým stmíváním (segmental dimming) — lepší kontrast AR obsahu na přímém světle.
Od 2015 důraz na mobilní aplikace
- SnapChat – Lenses.
- Facebook Camera.
- Google Translate (OCR + AR překlad).
- Hry.
- Propojení s mobilem: Ray-Ban Meta Smart Glasses (2023/2024): „Screenless AR“ — brýle bez displeje s kamerou, hlasovým asistentem a multimodální AI.
Toolkity pro mobilní tracking
Visual Inertial Odometry (VIO)
metoda, která kombinuje data z kamery a inerciální měřicí jednotky (IMU) k určení přesné pozice,
orientace a rychlosti pohybujícího se objektu
AR Kit (iOS) a AR Core (Android).
- V telefonech: kamera, akcelerometr, gyroskop, kompas, …
- Funkce: detekce rovin, odhad osvětlení, rozpoznání obličejů a předmětů.
- ARKit 3 / 6 / 7: People Occlusion, Scene Geometry, LiDAR pro lepší hloubku.
- ARCore (Google):
- Geospatial API: AR na základě dat Street View.
- Scene Semantics: rozpoznání stěn, podlahy a nábytku v reálném čase.
Překrývání v AR (Occlusion)
AR v současné době
Tržby v AR
AR — Gartner Hype Cycle
Vrchol nafouknutých očekávání (Peak of Inflated Expectations).
Klesání do údolí zklamání (Trough of Disillusionment).
Výstup na plato produktivity (Plateau of Productivity).
Po roce 2018 už AR v Hype Cycle samostatně nefiguruje — rozpadla se do dílčích zralých kategorií: Spatial Computing, Immersive Workspace, Metaverse Enablers.
Počet uživatelů
Pokémon GO
Příklad super úspěšné hry s rozšířenou realitou.
- Značka + sociální stránka + mobil + geolokace + AR.
- Nejrychlejších 500 mil. dolarů v historii (63 dní).
- Akcie Nintenda: +50 %.
- Niantic Lightship SDK — engine vzniklý z Pokémon GO zpřístupněný vývojářům.
Mrtvé hry
- Harry Potter: Wizards Unite
- Witcher Monster Hunter
- Další spíš přežívají (Jurasic World Alive, Ingress)
Další AR aplikace
VR Book (2008)
- Papírová kniha obohacená o 3D obsah
- přes kameru.
- Experimentální produkt, nepříliš úspěšný.
- Kamera v lampičce
- Přirozené ovládání AR obsahu rukama.
Další AR aplikace
Montáž a údržba
Ngrain
Aplikace pro školení techniků — tracking na základě podoby modelu (hrany).
ScopeAR
Vzdálená pomoc — tracking na základě rozpoznání obrazu.
AR v medicíně
Průhledný displej s videem
Siemens Research — vizualizace medicínských dat.
- MS HoloLens v medicíně — 3D modely orgánů, navigace při zákroku.
- Chirurgické systémy schválené FDA — např. Augmedics xvision: AR navigace pro operace páteře, chirurg vidí rentgenový snímek „skrz“ tělo pacienta.
Interaktivní prohlídky a muzea
Virtuální Aš
Probouzení historie města přes reálnou kameru (archeologie, památky).
- Věnná města českých královen — AR rekonstrukce.
- CityViewAR (Christchurch) — znovuzpřítomnění zničených budov.
AR v průmyslu
Konstrukce
Kontrola a montáž konstrukcí v měřítku 1:1.
Sklady (DHL)
AR navigace a výběr zboží v logistice.
Pomoc experta pomocí AR
Vzdálené sdílení pohledu a anotace.
Požadavky AR
Tracking
Spojitě zjišťovat pohyb a otočení zorného pole uživatele.
Registrace (registration)
Umístění virtuálního objektu do reálné scény — pevná pozice ve scéně vzhledem k reálnému objektu.
Nízká latence (M2P)
Motion-to-Photon — zpoždění mezi pohybem a zobrazením musí být pod ≈ 20 ms, jinak dochází ke kineatóze (mořské nemoci).
Tracking pohybu
Aktivní trackování
Mechanické, magnetické, ultrazvuk, GPS, Wi-Fi, …
Pasivní trackování
Senzory (gyro, akcelerometr, kompas) a metody počítačového vidění.
Smíšené (hybridní)
Kombinace obou metod.
Stabilizace vůči … hlavě → tělu → okolnímu světu
Rozdělení trackování
Mechanické trackování
- Mechanické ruce (exoskeletony).
- Senzory v kloubech.
- Vysoká přesnost.
- Zpětná vazba.
- Drahé.
- Komplikované.
Magnetické trackování
- Cívky generují proud, když se pohybují v magnetickém poli.
- Měření proudu určí polohu a rotaci.
- Hodnoty jsou relativní vůči zdroji magnetického pole.
- 6 stupňů volnosti.
- Robustní.
- Jsou potřeba dráty.
- Náchylné na kovové materiály.
- Drahé.
Inerciální trackování
- Měření lineární a úhlové orientace (akcelerometr, gyroskop).
- Není třeba vysílač — bezdrátové.
- Malé a levné.
- Vysoká frekvence snímání.
- Rostoucí chyba s časem (drift).
- Hystereze.
- Drift v praxi řeší fúze: Kalmanův filtr / Extended Kalman Filter (EKF) pro spojení IMU s optickou kamerou.
Ultrazvukové trackování
- Založen na změně fáze ultrazvukové vlny.
- Nebo na času šíření zvukového signálu.
- Levné, malé.
- Menší přesnost.
- Viditelnost vysílače je nutná.
- Ovlivněno okolím (tlak, teplota).
GPS (Global Positioning System)
- USA – 1978 (aktuálně 31 satelitů).
- Signál ze satelitu: poloha a čas.
- Přijímač:
- Měří rozdíl času ze satelitů.
- Aspoň 4 satelity nutné.
- Triangulace polohy.
- Přesnost: 5–30 m, blokování budovami, počasím …
- Další možnosti: Galileo, GLONASS, BeiDou.
- Přesnější alternativa — VPS (Visual Positioning System):
- Kombinace GPS s porovnáváním obrazu z kamery proti 3D databázi světa.
- Např. Google Visual Positioning, Niantic VPS — až centimetrová přesnost.
Optické trackování — proč?
- Mobily/tablety mají foťák/kameru — „Video see-through display“.
- Přesné zaměření virtuálního objektu do scény:
Využití významných bodů z obrazu pro přesné umístění.
- Reálná scéna má hodně významných bodů (features, interest points).
- Počítačové vidění je rozvinutá disciplína:
Přes 40 let výzkumu; staré algoritmy lze nyní provádět real-time.
Běžné metody optického trackování
Pomocí markeru
Marker = speciální značka v reálném světě (ARToolKit).
Bez markeru
Pomocí známých prvků z reálného světa — šablony, textury, tvary.
Tracking neznámého prostředí
Algoritmy SLAM (Simultaneous Localization and Mapping).
- vSLAM — čistě vizuální lokalizace a mapování.
- VIO — fúze vizuálního SLAMu s IMU (Visual-Inertial Odometry) — základ ARKit/ARCore a headsetů.
Marker tracking
- Rozšířené víc než 10 let.
- Mnoho open-source knihoven: ARToolKit, ARTag, …
- Celkem jednoduché na implementaci.
- Obdélník poskytuje 4 rohové body
— stačí pro výpočet pozice a otočení kamery.
Trackování bez markeru
Využití přirozených významných bodů ze scény:
- Hrany (edges).
- Textury.
- Rohy (corners).
