← Zpět na přehled PG2 / 06 Úvod

PG2 ·06 · Dimenzionalita

Komprese a modelování rozsáhlých obrazových dat

Jiří Filip · ANI-PG2 · Efektivní reprezentace BTF dat.

33 stran. PDF export11.11.2026; stará šablona8.9.2018 není datum výuky. Zdrojový plán je nedatovaný. Úplný původní text je v poznámkách.

Český přepis a interaktivní model GRAFIT zachovávají původní historické výsledky. Model používá syntetickou matici, nikoli naměřenou BTF.

Původní ilustrace: Komprese a modelování rozsáhlých obrazových dat · PDF 1
Původní ilustrace · strana 1

Jiří Filip · Původní PDF · strana 1

PG2 ·06 · Dimenzionalita

Dimenzionalita a komprese

Analýza dimenzionality BTF: SVD, PCA a psychofyzikální metody.

Komprese: PCA/eigenobrazy, modely odrazivosti, SVD tenzorů, sférické harmonické a wavelety, shlukování, vrstvené objemové modely a vektorová kvantizace.

Následuje porovnání vybraných metod.

Jiří Filip · Původní PDF · strana 2

PG2 ·06 · Dimenzionalita

SVD korelací BTF

Suen a Healey, IEEE PAMI2000: složitost vzorku souvisí s počtem významných vlastních hodnot korelací RGB složek. Korelace se počítají v pohyblivém podpůrném okně pro kombinace pohledu a osvětlení.

Testováno pouze na databázi CURET. Zdroj uvádí typicky5–15 složek pro F=0,99; nejde o obecnou mez pro všechny materiály.

i,j označují barevné kanály (RR, RG, RB, GR,…); m prostorový posun, Λ společnou oblast podpory.

Rij(m)=1∣Λ(m)∣∑x∈Λ,(x+m)∈Λ[Ii(x)−Iˉi][Ij(x+m)−Iˉj]R_{ij}(\mathbf m)=\frac{1}{|\Lambda(\mathbf m)|}\sum_{\mathbf x\in\Lambda,(\mathbf x+\mathbf m)\in\Lambda}[I_i(\mathbf x)-\bar I_i][I_j(\mathbf x+\mathbf m)-\bar I_j]
Iˉi=1∣Λ∣∑x∈ΛIi(x)\bar I_i=\frac1{|\Lambda|}\sum_{\mathbf x\in\Lambda}I_i(\mathbf x)
R=UDVT\mathbf R=\mathbf U\mathbf D\mathbf V^T
x=[r1,r2]T\mathbf x=[r_1,r_2]^T
∑i=1Dσi2∑i=1ninvσi2≥F\frac{\sum_{i=1}^{D}\sigma_i^2}{\sum_{i=1}^{n_i n_v}\sigma_i^2}\geq F
Původní ilustrace: SVD korelací BTF · PDF 3
Původní ilustrace · strana 3
Původní ilustrace: SVD korelací BTF · PDF 3
Původní ilustrace · strana 3
Původní ilustrace: SVD korelací BTF · PDF 3
Původní ilustrace · strana 3

Jiří Filip · Původní PDF · strana 3

PG2 ·06 · Dimenzionalita

PCA obrazů BTF

Koudelka a kol., TEXTURE2003: dimenzionalita odpovídá počtu vlastních obrazů zachycujících požadovanou energii.

Zdroj uvádí typickou hodnotu30 pro F=0,9. Sloupce matice jsou vektorizované obrazy po odečtení průměrného obrazu.

Poznámka GRAFIT: pro SVD(A) je energie σ²; při rozkladu M=AᵀA se sčítají jeho vlastní hodnoty λ=σ². Předloha používá σ u obou rozkladů; jejich druhé mocniny se nesmějí zaměnit.

A=[X1−X^,…,Xninv−X^]\mathbf A=[\mathbf X_1-\hat{\mathbf X},\ldots,\mathbf X_{n_i n_v}-\hat{\mathbf X}]
M=ATA=UDVT\mathbf M=\mathbf A^T\mathbf A=\mathbf U\mathbf D\mathbf V^T
∑i=1Dσi2∑i=1ninvσi2≥F\frac{\sum_{i=1}^{D}\sigma_i^2}{\sum_{i=1}^{n_i n_v}\sigma_i^2}\geq F
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4
Původní ilustrace: PCA obrazů BTF · PDF 4
Původní ilustrace · strana 4

Jiří Filip · Původní PDF · strana 4

PG2 ·06 · Dimenzionalita

Psychofyzikální odhad dimenzionality

Filip a kol., ACM TOG2008: porovnávání dvojic obrazů pomocí SSIM, VDP, CIE LAB a podobných měr.

Podobné obrazy se nahrazují reprezentantem; indexová mapa BTF rozlišuje nahrazené a zachované obrazy.

Ve zobrazených příkladech je zachováno5–30 % původních obrazů. Jde o výsledek zdrojové metody na jejích vzorcích.

Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5
Původní ilustrace: Psychofyzikální odhad dimenzionality · PDF 5
Původní ilustrace · strana 5

Jiří Filip · Původní PDF · strana 5

PG2 ·06 · Dimenzionalita

Zarovnání dat a snížení variance

Müller a kol.2006: zarovnání podle lokální geometrie snižuje variabilitu dat BTF.

Pro pixel se odhaduje souřadný systém maximalizující korelaci ABRDF; rotace ABRDF jsou vyjádřeny sférickými harmonickými.

Maximalizace společného součinu odpovídá zarovnání ABRDF.

Původní ilustrace: Zarovnání dat a snížení variance · PDF 6
Původní ilustrace · strana 6

Jiří Filip · Původní PDF · strana 6

PG2 ·06 · Komprese BTF

Dvě organizace komprese

Všechny obrazy BTF lze komprimovat společně, nebo samostatně po pohledech jako reflektanční pole.

r₁,r₂ jsou prostorové souřadnice, i směr osvětlení a v směr pohledu. Zdrojové ukázky: University of Bonn.

BTF(r1,r2,i,v)BTF(r_1,r_2,i,v)
Rv(r1,r2,i)R_v(r_1,r_2,i)
Původní ilustrace: Dvě organizace komprese · PDF 7
Původní ilustrace · strana 7
Původní ilustrace: Dvě organizace komprese · PDF 7
Původní ilustrace · strana 7
Původní ilustrace: Dvě organizace komprese · PDF 7
Původní ilustrace · strana 7
Původní ilustrace: Dvě organizace komprese · PDF 7
Původní ilustrace · strana 7

Jiří Filip · Původní PDF · strana 7

PG2 ·06 · Komprese BTF

Taxonomie metod

Společná komprese: faktorizace ABRDF, prokládání BRDF modelů po pixelech, faktorizace celé BTF, faktorizace po shlucích a komprese shluků pomocí SVD, PCA nebo waveletů.

Oddělené pohledy: prokládání BRDF modelů a faktorizace po pohledech.

Další větve: kombinace geometrie a odrazivosti, víceúrovňová vektorová kvantizace a směsi parametrických BRDF modelů.

Jiří Filip · Původní PDF · strana 8

PG2 ·06 · Komprese BTF

Faktorizace ABRDF

Tsai a kol., PAMI2011: mnohorozměrné sférické radiální bázové funkce.

Výhody: dobrá komprese, přizpůsobení datům a spojitá parametrická reprezentace.

Omezení zdroje: pomalejší prokládání a nižší kompresní poměry než u lineární faktorizace.

BRDF(ωi,ωv)=∑j=1Jβj∏n=13eλj,nψn(ωi,ωv∣θn)−λj,nBRDF(\omega_i,\omega_v)=\sum_{j=1}^{J}\beta_j\prod_{n=1}^{3}e^{\lambda_{j,n}\psi_n(\omega_i,\omega_v\mid\theta_n)-\lambda_{j,n}}
Původní ilustrace: Faktorizace ABRDF · PDF 9
Původní ilustrace · strana 9
Původní ilustrace: Faktorizace ABRDF · PDF 9
Původní ilustrace · strana 9

Jiří Filip · Původní PDF · strana 9

PG2 ·06 · Komprese BTF

Prokládání modelů BRDF

McAllister2002: více laloků Lafortunova modelu se prokládá pro každý pixel a všechny směry osvětlení/pohledu. Dobrá komprese a rychlé prokládání; výsledek bývá rozmazaný a hodí se spíše pro nízký reliéf.

Daubert2001: Lafortunův model doplněný iterativně získanou vyhledávací tabulkou. Dobrá kvalita pravidelných vzorků za cenu rozsáhlé tabulky závislé na pohledu.

BTF(r1,r2,i,v)≈ρd,r1,r2+∑knlρs,r1,r2,k[ωiTDr1,r2,kωv]nr1,r2,kBTF(r_1,r_2,i,v)\approx\rho_{d,r_1,r_2}+\sum_{k}^{n_l}\rho_{s,r_1,r_2,k}[\omega_i^T\mathbf D_{r_1,r_2,k}\omega_v]^{n_{r_1,r_2,k}}
BTF(r1,r2,i,v)≈Tωv,r1,r2(ρd,r1,r2+∑knl[ωiTDr1,r2,kωv]nr1,r2,k)BTF(r_1,r_2,i,v)\approx T_{\omega_v,r_1,r_2}\left(\rho_{d,r_1,r_2}+\sum_k^{n_l}[\omega_i^T\mathbf D_{r_1,r_2,k}\omega_v]^{n_{r_1,r_2,k}}\right)
Původní ilustrace: Prokládání modelů BRDF · PDF 10
Původní ilustrace · strana 10

Jiří Filip · Původní PDF · strana 10

PG2 ·06 · Komprese BTF

Řídká směs parametrických modelů

Wu a kol., EG2011: každý texel BTF je vážená řídká směs parametrických BRDF. Parametry umožňují prostorové i odrazivostní úpravy vzhledu.

Zdroj uvádí velikost přibližně1/300 původních dat a podporu importance samplingu. Nevýhodou je čas komprese; citovaná implementace neměla GPU variantu. Jde o historické hodnocení.

Původní ilustrace: Řídká směs parametrických modelů · PDF 11
Původní ilustrace · strana 11
Původní ilustrace: Řídká směs parametrických modelů · PDF 11
Původní ilustrace · strana 11

Jiří Filip · Původní PDF · strana 11

PG2 ·06 · Komprese BTF

Polynomy pro jednotlivé pohledy

Malzbender2001: každý směr pohledu je reprezentován polynomem pro každý pixel.

Rychlé prokládání; nízká kvalita a nevhodnost pro výrazně zrcadlové materiály podle zdrojového srovnání.

Původní ilustrace: Polynomy pro jednotlivé pohledy · PDF 12
Původní ilustrace · strana 12
Původní ilustrace: Polynomy pro jednotlivé pohledy · PDF 12
Původní ilustrace · strana 12

Jiří Filip · Původní PDF · strana 12

PG2 ·06 · Komprese BTF

Lafortunův model po pohledech

Meseth a kol.2003: barevná albedo mapa moduluje jasový Lafortunův model s nejvýše3 laloky. Ukládá se méně parametrů, ale postup je vhodný spíše pro méně zrcadlové vzorky.

Filip a Haindl2004: polynomiální rozšíření Lafortunova modelu. Dobrá vizuální kvalita, ve zdroji velikost zhruba1/20 původních dat.

Pipeline: odhad jednolalokového modelu → histogram → kumulativní histogram → mapovací funkce → LS proložení polynomu → odhad polynomiálního modelu.

Rv(r1,r2,i,v)≈ρd,r1,r2+ρs,r1,r2,k∑knl[ωiTDr1,r2,k]nr1,r2,kR_v(r_1,r_2,i,v)\approx\rho_{d,r_1,r_2}+\rho_{s,r_1,r_2,k}\sum_k^{n_l}[\omega_i^T\mathbf D_{r_1,r_2,k}]^{n_{r_1,r_2,k}}
Rv(r1,r2,i,v)≈∑j=0npar3,v,i,j[ρv(r)(ωiTDv(r))nv(r)]jR_v(r_1,r_2,i,v)\approx\sum_{j=0}^{n_p}a_{r_3,v,i,j}[\rho_v(r)(\omega_i^T\mathbf D_v(r))^{n_v(r)}]^j
Původní ilustrace: Lafortunův model po pohledech · PDF 13
Původní ilustrace · strana 13
Původní ilustrace: Lafortunův model po pohledech · PDF 13
Původní ilustrace · strana 13

Jiří Filip · Původní PDF · strana 13

PG2 ·06 · Komprese BTF

PCA versus SVD

SVD rozkládá libovolnou matici na ortogonální báze a singulární hodnoty.

PCA hledá ortogonální směry největší variance; odpovídá použití SVD na centrovaná data.

Obě metody pro nízkohodnostní aproximaci ponechávají k nejvýznamnějších složek. Ukázka GRAFIT používá přesně tuto vazbu.

Původní ilustrace: PCA versus SVD · PDF 14
Původní ilustrace · strana 14

Jiří Filip · Původní PDF · strana 14

PG2 ·06 · Komprese BTF

SVD faktorizace BTF

Matice A má p řádků (pixelů) a nᵢnᵥ sloupců (obrazů). SVD: A=UDVᵀ, n=rank(A).

U poskytuje vlastní textury, V vlastní ABRDF; rekonstrukce používá jen k členů. Při změně organizace matice se role bází prohodí; zápis na této straně platí pro zobrazenou organizaci.

A=UDVT,n=rank⁡(A)\mathbf A=\mathbf U\mathbf D\mathbf V^T,\qquad n=\operatorname{rank}(\mathbf A)
BTF(r1,r2,i,v)≈∑j=1kuj(r1,r2)σjvj(i,v)BTF(r_1,r_2,i,v)\approx\sum_{j=1}^{k}u_j(r_1,r_2)\sigma_jv_j(i,v)
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15
Původní ilustrace: SVD faktorizace BTF · PDF 15
Původní ilustrace · strana 15

Jiří Filip · Původní PDF · strana 15

PG2 ·06 · Komprese BTF

PCA faktorizace BTF

Odečte se průměrný obraz μA a v Gramově matici se naleznou dominantní směry.

Předloha značí vlastní hodnoty Gramovy matice symbolem σ; normalizační faktor je proto σ^(-1/2). Nulové hodnoty je nutné vynechat.

Rekonstrukce vrací průměrný obraz a součin zkrácené báze s koeficienty M.

A^=A−μA\hat{\mathbf A}=\mathbf A-\mu_{\mathbf A}
A^TA^=UDUT\hat{\mathbf A}^{T}\hat{\mathbf A}=\mathbf U\mathbf D\mathbf U^T
U^=A^U~D~\hat{\mathbf U}=\hat{\mathbf A}\tilde{\mathbf U}\tilde{\mathbf D}
D~=diag⁡{σ1−1/2,…,σk−1/2}\tilde{\mathbf D}=\operatorname{diag}\{\sigma_1^{-1/2},\ldots,\sigma_k^{-1/2}\}
M=U^TA^\mathbf M=\hat{\mathbf U}^{T}\hat{\mathbf A}
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16
Původní ilustrace: PCA faktorizace BTF · PDF 16
Původní ilustrace · strana 16

Jiří Filip · Původní PDF · strana 16

PG2 ·06 · Komprese BTF

Faktorizace celé BTF

Koudelka a kol.2003: PCA všech obrazů v prostoru textur. Zdroj uvádí přibližně1/1000 dat a možnost řízení kvality; za cenu dlouhé rekonstrukce a nižší kvality.

Guthe a kol.2009: PCA v prostoru ABRDF a transformace T minimalizující vizuální rozdíl. Ta zahrnuje časoprostorové filtrování, odezvy čípků a kontrastní citlivost.

Zdroj uvádí přibližně1/500 dat, percepční míru kvality a dlouhou kompresi.

BTF(r1,r2,i,v)≈∑k=1ncuk(i,v)σkvk(r1,r2)BTF(r_1,r_2,i,v)\approx\sum_{k=1}^{n_c}u_k(i,v)\sigma_kv_k(r_1,r_2)
BTF(r1,r2,i,v)≈∑k=1ncT[uk(r1,r2)σkT[vk(i,v)]]BTF(r_1,r_2,i,v)\approx\sum_{k=1}^{n_c}T[u_k(r_1,r_2)\sigma_kT[v_k(i,v)]]
Původní ilustrace: Faktorizace celé BTF · PDF 17
Původní ilustrace · strana 17
Původní ilustrace: Faktorizace celé BTF · PDF 17
Původní ilustrace · strana 17
Původní ilustrace: Faktorizace celé BTF · PDF 17
Původní ilustrace · strana 17

Jiří Filip · Původní PDF · strana 17

PG2 ·06 · Komprese BTF

Faktorizace po pohledech

Sattler a kol.2003: PCA samostatně pro jednotlivé pohledy. Rychlá komprese a rekonstrukce, dobrá kvalita, ale nižší kompresní poměr.

Wong a Leung2003: závislost na osvětlení se komprimuje sférickými harmonickými a jejich koeficientové roviny dále diskrétní waveletovou transformací.

Počet složek řídí kompresi; rekonstrukci zpomaluje inverzní DWT.

Původní ilustrace: Faktorizace po pohledech · PDF 18
Původní ilustrace · strana 18
Původní ilustrace: Faktorizace po pohledech · PDF 18
Původní ilustrace · strana 18

Jiří Filip · Původní PDF · strana 18

PG2 ·06 · Komprese BTF

Tenzorové reprezentace

Vasilescu a Terzopoulos2003: BTF jako3D tenzor, multimodální SVD a oddělené řízení vlivu osvětlení/pohledu.

Wang a kol.2004: přímý4D tenzor zachovává vztahy ve dvou prostorových souřadnicích obrazu.

Kompaktní reprezentace s nastavitelnou kompresí, ve zdroji přibližně1/100. Interpolace mnoha složek zpomaluje rendering.

B=Z×1Utex×2Ui×3Uv\mathcal B=\mathcal Z\times_1\mathbf U_{tex}\times_2\mathbf U_i\times_3\mathbf U_v
T=B×2Ui×3Uv\mathcal T=\mathcal B\times_2\mathbf U_i\times_3\mathbf U_v
BTF(i,v)=T×2iT×3vTBTF(i,v)=\mathcal T\times_2\mathbf i^T\times_3\mathbf v^T
Původní ilustrace: Tenzorové reprezentace · PDF 19
Původní ilustrace · strana 19
Původní ilustrace: Tenzorové reprezentace · PDF 19
Původní ilustrace · strana 19

Jiří Filip · Původní PDF · strana 19

PG2 ·06 · Komprese BTF

Řídký tenzorový rozklad

Ruiters a Klein2009: K-SVD vytváří malý slovníkový tenzor a dva řídké tenzory.

Zdroj uvádí přibližně1/1000 původních dat.

Omezení tehdejší metody: pomalá komprese, při vysoké kvalitě dlouhý rendering a chybějící hardwarová implementace.

BTF(λ,r,i,v)≈Lλij×Vjvk×PkrBTF(\lambda,r,i,v)\approx\mathcal L_{\lambda i j}\times\mathcal V_{jvk}\times\mathcal P_{kr}
Lλij∈Rcolors×lights×D1\mathcal L_{\lambda i j}\in\mathbb R^{colors\times lights\times D_1}
Vjvk∈RD1×views×D2,Pkr∈RD2×pixels\mathcal V_{jvk}\in\mathbb R^{D_1\times views\times D_2},\quad\mathbf P_{kr}\in\mathbb R^{D_2\times pixels}
Původní ilustrace: Řídký tenzorový rozklad · PDF 20
Původní ilustrace · strana 20
Původní ilustrace: Řídký tenzorový rozklad · PDF 20
Původní ilustrace · strana 20

Jiří Filip · Původní PDF · strana 20

PG2 ·06 · Komprese BTF

Faktorizace po shlucích

Müller a kol.2003: iterativní shlukování ABRDF upraveným K-means a PCA uvnitř každého shluku. Vzdálenost při shlukování určuje chyba rekonstrukce vlastních obrazů.

Zdroj uvádí přibližně1/300 dat a dobrou kvalitu. Výpočet shluků je dlouhý, vznikají seams a mipmapové potíže.

BTF(r1,r2,i,v)≈∑k=1ncum(r1,r2),k(x,y)σm(r1,r2),kvm(r1,r2),k(i,v)BTF(r_1,r_2,i,v)\approx\sum_{k=1}^{n_c}u_{m(r_1,r_2),k}(x,y)\sigma_{m(r_1,r_2),k}v_{m(r_1,r_2),k}(i,v)
Původní ilustrace: Faktorizace po shlucích · PDF 21
Původní ilustrace · strana 21
Původní ilustrace: Faktorizace po shlucích · PDF 21
Původní ilustrace · strana 21

Jiří Filip · Původní PDF · strana 21

PG2 ·06 · Komprese BTF

Shlukování prostoru BTF

Leung a Malik2001:3D textony tvoří slovník drobných plošných útvarů s lokálními geometrickými a fotometrickými vlastnostmi. Vektory vzhledu jsou výstupy lineárních Gaussových derivačních filtrů.

Liu a kol.2004: malá sada4D funkcí vzhledu (textonů) násobených2D mapami geometrie. Textony se společně komprimují lineární faktorizací SVD.

Ukládání založené na textonech, rychlá implementace a vysoká komprese podle zdroje.

Původní ilustrace: Shlukování prostoru BTF · PDF 22
Původní ilustrace · strana 22
Původní ilustrace: Shlukování prostoru BTF · PDF 22
Původní ilustrace · strana 22
Původní ilustrace: Shlukování prostoru BTF · PDF 22
Původní ilustrace · strana 22

Jiří Filip · Původní PDF · strana 22

PG2 ·06 · Komprese BTF

Shlukování ABRDF a BRDF model

Filip a Haindl2005: K-means nad ABRDF a polynomiální rozšíření Lafortunova modelu ve středech shluků.

Parametry ρ, Dx, Dy, Dz a n se získávají mapováním intenzity pomocí funkcí Kv,1 až Kv,5.

Zdroj uvádí přibližně1/200 dat a rychlé proložení několika ABRDF. Nevýhodou jsou kvantizační artefakty.

ρ(r1,r2)v=Kv,1(Iv(r1,r2))\rho(r_1,r_2)_v=K_{v,1}(I_v(r_1,r_2))
D(r1,r2)v,X=Kv,2(Iv(r1,r2))D(r_1,r_2)_{v,X}=K_{v,2}(I_v(r_1,r_2))
D(r1,r2)v,Y=Kv,3(Iv(r1,r2))D(r_1,r_2)_{v,Y}=K_{v,3}(I_v(r_1,r_2))
D(r1,r2)v,Z=Kv,4(Iv(r1,r2))D(r_1,r_2)_{v,Z}=K_{v,4}(I_v(r_1,r_2))
n(r1,r2)v=Kv,5(Iv(r1,r2))n(r_1,r_2)_v=K_{v,5}(I_v(r_1,r_2))
Rv(r1,r2,i,v)≈∑j=0npar3,v,i,j[ρv(r)(ωiTDv(r))nv(r)]jR_v(r_1,r_2,i,v)\approx\sum_{j=0}^{n_p}a_{r_3,v,i,j}[\rho_v(r)(\omega_i^T\mathbf D_v(r))^{n_v(r)}]^j
Původní ilustrace: Shlukování ABRDF a BRDF model · PDF 23
Původní ilustrace · strana 23
Původní ilustrace: Shlukování ABRDF a BRDF model · PDF 23
Původní ilustrace · strana 23
Původní ilustrace: Shlukování ABRDF a BRDF model · PDF 23
Původní ilustrace · strana 23

Jiří Filip · Původní PDF · strana 23

PG2 ·06 · Komprese BTF

Geometrie a odrazivost

Liu a kol.2001: řídká sada malých dlaždic BTF se skládá podle mapy vzdáleností do obrazu libovolné velikosti. Vhodné pro syntézu, ale pomalé a s nízkou kompresí.

Magda a Kriegman2006: geometrie se oddělí od odrazivosti ve vrstvené objemové textuře; každá vrstva nese BRDF model.

Vysoká komprese a snadná interpolace; počet vrstev ani výška vzorku nejsou omezeny. Podporuje zrcadlovost, stíny i hrany.

Původní ilustrace: Geometrie a odrazivost · PDF 24
Původní ilustrace · strana 24
Původní ilustrace: Geometrie a odrazivost · PDF 24
Původní ilustrace · strana 24
Původní ilustrace: Geometrie a odrazivost · PDF 24
Původní ilustrace · strana 24

Jiří Filip · Původní PDF · strana 24

PG2 ·06 · Komprese BTF

Editovatelné geometrické BRDF

Menzel a Guthe2009: BTF se rozkládá do intuitivních editovatelných2D map hloubky, tečen a odrazivosti. Interakce světla modeluje analytický BRDF Ashikhmin2006, segmentace vzniká podle podobnosti.

Zdroj uvádí přibližně1/1000 dat a dobrou kvalitu. Požaduje rozšíření pro další interakce.

Omezení: neprůhledné materiály bez podpovrchového rozptylu, část stínů odvozena z mapy hloubky a nemusí být přesná.

Původní ilustrace: Editovatelné geometrické BRDF · PDF 25
Původní ilustrace · strana 25

Jiří Filip · Původní PDF · strana 25

PG2 ·06 · Komprese BTF

Víceúrovňová vektorová kvantizace

Havran a kol.2010: parametry BTF se rozloží na1D,2D,3D a4D řezy. Víceúrovňové slovníky ukládají indexy a škály.

Rekonstrukce využívá rychlé řetězení indexů ve vnořených slovnících.

Zdroj uvádí přibližně1/700 dat, podporu importance samplingu a hardwarovou implementaci; optimalizace slovníků je časově náročná. Ilustrační vzorky nesou poměry1:1002 a1:780.

Původní ilustrace: Víceúrovňová vektorová kvantizace · PDF 26
Původní ilustrace · strana 26
Původní ilustrace: Víceúrovňová vektorová kvantizace · PDF 26
Původní ilustrace · strana 26
Původní ilustrace: Víceúrovňová vektorová kvantizace · PDF 26
Původní ilustrace · strana 26

Jiří Filip · Původní PDF · strana 26

PG2 ·06 · Porovnání a literatura

Porovnání vybraných metod

Historické srovnání Filip a Haindl2009. Obrázky ukazují10× rozdíl; parametry posledních tří metod byly odhadnuty psychofyzikálně.

Tabulka přepisuje hodnoty předlohy. Jednotka času analýzy není v tabulce uvedena; nesmí být dodatečně označena za sekundy. Doba syntézy je uvedena pro25×25 pixelů v sekundách.

Výsledky nejsou novým benchmarkem GRAFIT ani přímým srovnáním s interaktivním modelem.

Polynomy po pohledech

Malzbender01

Velikost oproti originálu ≈
1/14
Čas analýzy ≈ (jednotka neuvedena)
165
Syntéza25×25px ≈ (s)
1

Lafortune po pohledech

Filip–Haindl04

Velikost oproti originálu ≈
1/16
Čas analýzy ≈ (jednotka neuvedena)
136
Syntéza25×25px ≈ (s)
1

PCA po pohledech

Sattler03

Velikost oproti originálu ≈
1/7
Čas analýzy ≈ (jednotka neuvedena)
10
Syntéza25×25px ≈ (s)
2

PCA celé BTF

Koudelka03

Velikost oproti originálu ≈
1/91
Čas analýzy ≈ (jednotka neuvedena)
3862
Syntéza25×25px ≈ (s)
8

PCA po shlucích

Müller03

Velikost oproti originálu ≈
1/31
Čas analýzy ≈ (jednotka neuvedena)
1098
Syntéza25×25px ≈ (s)
22
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27
Původní ilustrace: Porovnání vybraných metod · PDF 27
Původní ilustrace · strana 27

Jiří Filip · Původní PDF · strana 27

PG2 ·06 · Porovnání a literatura

Závěry ke kompresi BTF

Rozsáhlá data BTF obsahují mnoho redundance. Komprese ji odstraňuje, zachovává percepčně důležité rysy a má umožnit náhodný přístup pro rychlou rekonstrukci.

Komprese redukuje naměřená data. Syntéza vytváří libovolně velký vzorek BTF. Syntéza, obvykle spolu s kompresí, tvoří modelování potřebné pro praktické aplikace.

Původní ilustrace: Závěry ke kompresi BTF · PDF 28
Původní ilustrace · strana 28

Jiří Filip · Původní PDF · strana 28

PG2 ·06 · Porovnání a literatura

Literatura · 1

References

Reflectance models

•

E.P. Lafortune, S.C. Foo, K.E. Torrance, and D.P. Greenberg, Non-Linear

Approximation of Reflectance Functions, Computer Graphics, vol. 31, pp.

117-126, 1997.

•

K. Daubert, H.P.A. Lensch, W. Heidrich, and H.-P. Seidel, Efficient Cloth

Modeling and Rendering, Proc. Conf. Rendering Techniques, pp. 63-70,

2001.

•

J. Meseth, G. Muller, and R. Klein, Preserving Realism in Real-Time

Rendering of Bidirectional Texture Functions, Proc. OpenSG Symp., pp. 89-

96, Apr. 2003.

•

J. Filip and M. Haindl, Non-Linear Reflectance Model for Bidirectional

Texture Function Synthesis, ICPR, vol. 1, pp. 80-83, Aug. 2004.

•

J. Filip and M. Haindl, Efficient Image-Based Bidirectional Texture Function

Model, TEXTURE 05, pp. 7-12, Oct. 2005.

Jiří Filip · Původní PDF · strana 29

PG2 ·06 · Porovnání a literatura

Literatura · 2

References

Reflectance Models (continue)

•

H. Wu, J. Dorsey,H. Rushmeier, A Sparse Parametric Mixture Model for

BTF Compression, Editing and Rendering, Computer Graphics Forum,

30(2), 2011.

BRDF Factorisation

•

Y-T. Tsai, K-L. Fang, W-C. Lin, Z-C. Shih, Modeling Bidirectional Texture

Functions with Multivariate Spherical Radial Basis Functions, IEEE Trans.

Pattern Anal. Mach. Intell., July 2011, 33(7), 2011.

BRDF Texels

•

J. Filip and M. Haindl, BTF Modelling Using BRDF Texels, Int’l J. Computer

Math., vol. 84, no. 9, pp. 1267-1283, Sept. 2007.

Compound MRF

•

M. Haindl and V. Havlicek, A Compound MRF Texture Model, ICPR, Aug.

2010.

Jiří Filip · Původní PDF · strana 30

PG2 ·06 · Porovnání a literatura

Literatura · 3

References

Linear Factorisation Methods

•

M. Koudelka, S. Magda, P. Belhumeur, and D. Kriegman, Acquisition,

Compression, and Synthesis of Bidirectional Texture Functions, TEXTURE

2003, pp. 47-52, Oct. 2003.

•

M. Sattler, R. Sarlette, and R. Klein, Efficient and Realistic Visualization of

Cloth, Proc. Eurographics Symp. Rendering, pp. 167-178, June 2003.

•

M. Guthe, G. Muller, M. Schneider, and R. Klein, BTF-CIELab: A Perceptual

Difference Measure for Quality Assessment and Compression of BTFs,

Computer Graphics Forum, vol. 28, no. 1, pp. 101-113, 2009

Multi-modal Linear Factoriazation

•

M. Vasilescu and D. Terzopoulos, Tensor Textures: Multilinear Image-Based

Rendering, Proc. ACM SIGGRAPH, vol. 23, no. 3 pp. 336-342, Aug. 2004.

•

H. Wang, G. Wu, L. Shi, Y. Yu, and N. Ahuja, Out-of-Core Tensor

Approximation of Multi-Dimensional Matrices of Visual Data, ACM Trans.

Graphics, vol. 24, no. 3, pp. 527-535, July 2005.

•

R. Ruiters and R. Klein, BTF Compression via Sparse Tensor Decomposition,

Computer Graphics Forum, vol. 28, no. 4, pp. 1182-1188, 2009

Jiří Filip · Původní PDF · strana 31

PG2 ·06 · Porovnání a literatura

Literatura · 4

References

Polynomial Texture Maps

•

T. Malzbender, D. Gelb, and H. Wolters, Polynomial Texture Maps, Proc.

ACM SIGGRAPH, pp. 519-528, 2001.

Clustering + Linear Factorisation

•

G. Müller, J. Meseth, and R. Klein. Compression and real-time rendering of

measured BTFs using local PCA. To appear in proceedings of Vision,

Modeling and Visualisation 2003, November 2003.

•

T. Leung and J. Malik, Representing and Recognizing the Visual Appearance

of Materials Using Three-Dimensional Textons, Int’l J. Computer Vision, vol.

43, no. 1, pp. 29-44, 2001.

•

X. Liu, J. Zhang, X. Tong, B. Guo, and H.-Y. Shum. Synthesis and rendering of

bidirectional texture functions on arbitrary surfaces. IEEE Transactions on

Visualization and Computer Graphics, 10(3):278-289, June 2004.

Vector Quantization

•

Havran V., Filip J., Myzskowski K., Bidirectional Texture Function Compression

based on Multi-Level Vector Quantization. Computer Graphics Forum, vol.

29, no. 1, pp. 175-190, March 2010

Jiří Filip · Původní PDF · strana 32

PG2 ·06 · Porovnání a literatura

Literatura · 5

References

Combining Geometry and Reflectance

•

X. Liu, Y. Yu, and H.Y. Shum, Synthesizing Bidirectional Texture Functions for

Real-World Surfaces, Proc. ACM SIGGRAPH, pp. 97-106, 2001.

•

S. Magda and D. Kriegman, Reconstruction of Volumetric Surface Textures

for Real-Time Rendering, Proc. 17th Eurographics Workshop Rendering, pp.

19-29, June 2006.

•

N. Menzel and M. Guthe, g-BRDFs: An Intuitive and Editable BTF

Representation, Computer Graphics Forum, vol. 28, no. 8, pp. 2189 - 2200,

2009

Combining Geometry and Reflectance

•

G. Müller, R. Sarlette, and R. Klein, Data-driven Local Coordinate Systems for

Image-Based Rendering, In: Computer Graphics Forum, 25:3, 2006

Jiří Filip · Původní PDF · strana 33

Obsah přednášky

Poznámky

Původní text PDF

Hodnost a rekonstrukce · GRAFIT

Zvolte počet ponechaných složek syntetické matice10×8. Sledujte chybu, zachycenou energii a počet uložených hodnot.

Původní syntetická matice
Rekonstrukce k složkami

Výpočetní doplněk GRAFIT. Syntetická matice není naměřená BTF ani benchmark kompresních metod přednášky. Pravé singulární vektory se počítají Jacobiho rozkladem AᵀA; rekonstrukce je AVₖVₖᵀ, u PCA se vrací průměr. Energie je součet σ² z původní, případně centrované matice. Úložiště počítá husté faktory U,D,V: k(10+8+1) hodnot a u PCA ještě8 průměrů; každá hodnota má předpokládané4 B. Bez entropického kódování, kvantizace a metadat. Vyšší hodnost může být větší než originál. Oba obrázky mají tutéž barevnou škálu.