← Zpět na přehledROZ / 05
VýkladS komentářem
ROZ 05 · Výklad

Shlukování a segmentace

Rozpoznávání obrazců V · Michal Haindl · podklady 2023–2024.

Shlukování hledá skupiny v příznakovém prostoru. Segmentace navíc pracuje s prostorovým rozdělením obrazu. Projdeme předzpracování, vzdálenosti, hierarchie, rozklady a jejich hodnocení.

DataPříznakyRozhodnutí
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1

ROZ 05 · Výklad

Kdy oblasti tvoří segmentaci

Oblasti mají pokrýt celou sledovanou doménu a navzájem se nepřekrývat. Každá splňuje zvolené kritérium homogenity; dvě sousední oblasti už společně toto kritérium splňovat nemají.

Požadavek souvislosti je prostorový. Shluk v příznacích může obsahovat body z několika vzdálených míst obrazu. Směs hustot je statistický model, nikoli automaticky prostorová segmentace.

⋃k=1KRk=Ω
Ri∩Rj=∅(i≠j)
Oblast A / oblast B
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1, 2, 3

ROZ 05 · Výklad

Kolik existuje rozkladů

Počet rozkladů n objektů do K neprázdných neoznačených skupin udávají Stirlingova čísla druhého druhu. Již pro 15 objektů a tři skupiny existuje 2 375 101 možností.

Úplné prohledávání proto rychle přestává být použitelné. Volba algoritmu znamená také volbu omezení a preferované struktury.

S(n,K)=1K!∑j=0K(−1)K−j(Kj)jn

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 3

ROZ 05 · Výklad

Sousednost a souvislost

Čtyřsousednost spojuje pixely přes společnou stranu, osmisousednost i přes roh. Cesta je posloupnost sousedních pixelů splňujících požadovanou podobnost.

Smíšená sousednost připouští diagonálu jen tehdy, pokud společný čtyřsoused nepřináší jinou přípustnou cestu. Volbu sousednosti uvádíme společně s výsledkem.

Oblast A / oblast B
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 3, 4

ROZ 05 · Výklad

Odlehlé hodnoty a chybějící data

Odlehlost posuzujeme v kontextu modelu. Pravidlo tří směrodatných odchylek je pomůcka pro přibližně normální jednorozměrná data, ne obecná definice chyby.

Chybějící hodnoty lze imputovat, předvídat nebo vynechat v definici vzdálenosti. Každý postup mění informaci a může zavést systematické zkreslení. Imputaci učíme pouze z trénovací části.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 4, 5

ROZ 05 · Výklad

Normalizace mění geometrii

Centrovat můžeme každý objekt nebo jednotlivé příznaky. Tyto operace řeší různé problémy. U z-skóre standardizujeme každý příznak jeho trénovacím průměrem a odchylkou.

Min–max převod používá rozsah příznaku. Konstantní příznak vyžaduje zvláštní zacházení, protože jmenovatel je nulový. Nové minimum a maximum neodhadujeme z testu.

zij=xij−μjsj
uij=xij−ajbj−aj
x₁x₂
Konstruované body a směr/hranice; nejde o experimentální data.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5, 6, 7

ROZ 05 · Výklad

Více kanálů a rodiny metod

Multispektrální pixel má více souřadnic. Můžeme klasifikovat společný vektor nebo spojit dílčí tematické mapy; druhý postup může ztratit závislosti mezi kanály.

K dispozici je prahování, shlukování, růst oblastí, dělení a slučování nebo hledání nespojitostí. Rozhoduje reprezentace i využití kontextu.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 7, 8

ROZ 05 · Výklad

Prahování a histogram

Globální práh je společný pro celý obraz, lokální se mění s okolím. Pásmové prahování vymezuje interval hodnot.

Histogram neobsahuje rozmístění pixelů. Je odolný vůči jejich přeuspořádání právě proto, že tuto informaci zahazuje. Stejný histogram mohou mít velmi rozdílné obrazy.

y^(x)={1x>T0x≤T

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 8

ROZ 05 · Výklad

Bayesovsky zvolený práh

Pro dvě třídy a ztrátu 0–1 leží rozhodovací přechod tam, kde se rovnají vážené hustoty. Různé rozptyly mohou vést ke dvěma přechodům, takže jediný práh nemusí stačit.

Při společném rozptylu a μ₁<μ₂ dostaneme následující práh. Parametry i apriorní pravděpodobnosti je potřeba odhadnout nebo věcně určit.

π1p1(T)=π2p2(T)
T=μ1+μ22+σ2μ2−μ1logπ1π2
AB
Dvě konstruované hustoty; výška není pravděpodobnost bodu.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 9

ROZ 05 · Výklad

Tvar shluku je součást předpokladu

Kompaktní kulové shluky, protáhlé útvary, soustředné prstence a nestejně velké skupiny vyžadují odlišné představy o podobnosti.

Algoritmus vytvoří rozdělení i v datech bez věcných tříd. Výstup není sám o sobě důkazem, že objevil přirozené kategorie.

x₁x₂
Konstruované body a směr/hranice; nejde o experimentální data.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 9, 10, 11, 12

ROZ 05 · Výklad

Typ příznaku a jeho kód

Nominální hodnoty nemají pořadí: číselný kód kategorie není vzdálenost. One-hot kódování odděluje jednotlivé možnosti.

Ordinální hodnoty mají pořadí, ale ne nutně stejné odstupy. Teplota ve stupních Celsia je intervalová; poměrová veličina má navíc věcně smysluplnou nulu. Kódování má tato rozlišení respektovat.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 12

ROZ 05 · Výklad

Co musí splňovat metrika

Metrika je nezáporná, symetrická, nulová právě pro shodné body a splňuje trojúhelníkovou nerovnost. Minkowského rodina zahrnuje Manhattan, Eukleid a maximum souřadnicových rozdílů.

Mahalanobisova metrika používá pozitivně definitní kovarianci. Kvadratická forma bez odmocniny obecně metrikou není.

dp(x,y)=(∑j|xj−yj|p)1/p
p≥1
dM(x,y)=(x−y)⊤Σ−1(x−y)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 13

ROZ 05 · Výklad

Podobnosti pro různá data

Korelační nepodobnost 1−ρ není obecně metrikou. U binárních dat rozlišujeme společné jedničky, společné nuly a neshody. Zda společné nuly znamenají shodu, záleží na významu dat.

Jaccardova podobnost ignoruje společné nuly; prostá shoda je započítá. U prázdných jmenovatelů musíme stanovit konvenci. Smíšená data lze spojit váženým součtem vhodně škálovaných dílčích vzdáleností.

J=aa+b+c
M=a+da+b+c+d

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 13, 14

ROZ 05 · Výklad

Hierarchické slučování

Začneme jednotlivými objekty, vybereme nejbližší dvojici shluků a sloučíme ji. Aktualizujeme vzdálenosti a pokračujeme do požadované úrovně.

Dendrogram zachovává posloupnost sloučení. Jednou spojené objekty se při aglomeraci už nerozdělí; řez stromem určuje konečný počet shluků.

SABabcd
Schéma hierarchie; délky větví zde nekódují naměřené vzdálenosti.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 15, 16

ROZ 05 · Výklad

Co znamená vzdálenost shluků

Single linkage bere nejbližší dvojici bodů, complete linkage nejvzdálenější. Průměrové varianty rozlišují stejné váhy objektů a stejné váhy celých shluků.

Wardova metoda minimalizuje nárůst vnitroshlukové sumy čtverců. Volba vazby může změnit celý strom. V příkladu vzdáleností 12 a 6 dostane single link 6, complete link 12.

dsingle(A,B)=minx∈A,y∈Bd(x,y)
dcomplete(A,B)=maxx∈A,y∈Bd(x,y)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 17, 18

ROZ 05 · Výklad

K-means: dvě střídající se úlohy

Při daných středech přiřadíme každý bod nejbližšímu. Při daném přiřazení nahradíme každý střed průměrem jeho skupiny. Oba kroky nezvyšují zvolené optimalizační kritérium.

Ve standardní verzi minimalizujeme sumu čtverců vzdáleností. Výsledek závisí na inicializaci; prázdný shluk vyžaduje explicitní pravidlo. Loket křivky je pomůcka pro K, nikoli důkaz správného počtu.

J=∑imink‖xi−μk‖2
PřiřaditPřepočítat středyOpakovat
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 18, 19

ROZ 05 · Výklad

Heuristiky a affinity propagation

Sekvenční heuristika vytvoří nový shluk, když se bod nevejde do existujících. Je rychlá, ale závisí na pořadí a prahu.

Affinity propagation posílá odpovědnosti a dostupnosti mezi kandidátními reprezentanty. O exempláři rozhoduje součet zpráv; preference na diagonále ovlivňuje počet shluků. Není tedy bez parametrů.

Mik=maxj≠k{a(i,j)+s(i,j)}
r(i,k)=s(i,k)−Mik

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 19, 20

ROZ 05 · Výklad

Jak ověřit nalezené shluky

Externí validace porovnává s referenčním označením, interní hodnotí strukturu samotných dat a relativní porovnává varianty. Referenční nulový model pomáhá odlišit strukturu od artefaktu.

Calinskiho–Harabaszův index poměřuje mezishlukový a vnitroshlukový rozptyl. Randův index počítá shodu dvojic; samotná vysoká shoda může být ovlivněna převahou oddělených dvojic.

CH=tr(SB)/(K−1)tr(SW)/(n−K)
RI=a+d(n2)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 20, 21, 22

ROZ 05 · Výklad

Rozptylové matice

Celkový rozptyl lze rozdělit na vnitroshlukovou a mezishlukovou část. Stopy a determinanty popisují odlišné vlastnosti: celkovou energii a objem.

Kritéria s inverzí vyžadují nesingularitu. Prostá stopa vnitroshlukové matice není invariantní k libovolnému přeskálování souřadnic.

ST=SW+SB
SW=∑k∑x∈Rk(x−μk)(x−μk)⊤

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 22, 23

ROZ 05 · Výklad

Růst, dělení a slučování oblastí

Růst oblastí využívá semena, sousednost a kritérium přijetí pixelu. Záleží na volbě semen, pořadí i pravidle ukončení.

Split-and-merge rozdělí nehomogenní oblast a poté slučuje přípustné sousední oblasti. Čtyřstrom organizuje dělení, ale výsledné hranice nesmějí být jen artefaktem čtvercové sítě.

Oblast A / oblast B
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 23, 24

ROZ 05 · Výklad

Segmentace pohybu

Rozdíl dvou registrovaných snímků zvýrazní změnu intenzity. Aby vypovídal o pohybu, potřebujeme zohlednit osvětlení, šum a pohyb kamery.

Pozadí odhadnuté z více snímků je stabilnější než jediná reference. Změna obrazu není automaticky pohyb konkrétního objektu.

Dt(r)=1{|It(r)−B(r)|>T}

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 24

ROZ 05 · Interaktivní doplněk GRAFIT

Jednorozměrný k-means

Vyzkoušejte · doplněk GRAFIT

Konstruovaný didaktický model. Měňte vstupy a sledujte výpočet; nejde o naměřený výkon ani plný učící algoritmus.

ROZ 05 · Řešený příklad · doplněk GRAFIT

Jeden krok k-means

Pro body 0, 1, 4, 5 a počáteční středy 0 a 5 se přiřadí dvojice {0,1} a {4,5}. Nové středy jsou 0,5 a 4,5. Součet čtverců vzdáleností potom je 1. Jde o malý syntetický příklad.

K-means předpokládá zvolený počet shluků a upřednostňuje kompaktní shluky ve své metrice. Výsledek nepovažujte automaticky za objevené sémantické třídy.

ROZ 05 · Ověření porozumění · doplněk GRAFIT

Zkuste si odpovědět

Zaručuje k-means globálně nejlepší dělení?

Zobrazit vysvětlení

Ne. Běžný střídavý algoritmus závisí na inicializaci a může skončit v lokálním optimu.

ROZ 05 · Provenience

Podklady a způsob zpracování

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.

Stáhnout původní PDFAutorský zdrojMapa témat a SHA-256

Obsah přednášky

Moje poznámky

Ukládají se jen v tomto prohlížeči.