← Zpět na přehledROZ / 12
VýkladS komentářem
ROZ 12 · Výklad

SVM a kombinování klasifikátorů

Rozpoznávání obrazců XII · Michal Haindl · podklady 2023–2024.

Od geometrie oddělující nadroviny odvodíme tvrdý a měkký okraj, duál, jádra a vícetřídé rozhodování. Nakonec spojíme více klasifikátorů.

x₁x₂
Konstruované body a směr/hranice; nejde o experimentální data.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1

ROZ 12 · Výklad

Proč maximalizovat okraj

SVM hledá oddělení s velkou vzdáleností nejbližších trénovacích bodů od hranice. Velký okraj souvisí s kontrolou kapacity, nikoli s automatickou zárukou úspěchu na libovolných datech.

Klasické jádrové metody mohou vyžadovat kvadratickou paměť na Gramovu matici. Výpočetní cena závisí na řešiči, řídkosti i datech; není obecně jen lineární ve velikosti tréninku.

x₁x₂
Konstruované body a směr/hranice; nejde o experimentální data.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1, 2, 3, 4

ROZ 12 · Výklad

Nadrovina a geometrická vzdálenost

Rozhodovací funkce je g(x)=wᵀx+b. Znaménko určí binární třídu; velikost g sama závisí na škále parametrů.

Podepsaná vzdálenost dělí hodnotu funkcí normou w. V kanonickém zápisu jsou podpůrné nadroviny g=±1. Celková šířka pásu je 2/‖w‖.

d(x,H)=w⊤x+b‖w‖
yi(w⊤xi+b)≥1

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 4

ROZ 12 · Výklad

Primal: tvrdý okraj

U lineárně separovatelných dat minimalizujeme polovinu čtverce normy při podmínce správného kanonického oddělení všech bodů.

Podpůrné vektory leží na aktivních omezeních. Při neseparovatelnosti tato úloha nemá přípustné řešení.

minw,b12‖w‖2
yi(w⊤xi+b)≥1∀i

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5

ROZ 12 · Výklad

Lagrangeovy multiplikátory a duál

Každé omezení dostane nezáporný multiplikátor αᵢ. Stacionarita dává váhový vektor jako kombinaci trénovacích vzorků a nulový součet αᵢyᵢ.

Duál maximalizuje konkávní kvadratickou funkci. Nulové αᵢ přispívat nemusí; aktivní multiplikátory určují výsledný model.

w=∑iαiyixi
∑iαiyi=0,αi≥0
maxα ∑iαi−12∑i,jαiαjyiyjxi⊤xj

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5, 6

ROZ 12 · Výklad

Co zaručuje konvexita

U konvexní úlohy jsou za splněných předpokladů KKT podmínky podmínkami optimality. Nemusíme hledat mezi odlišnými lokálními minimy jako u obecné neuronové sítě.

Jedinečnost w neznamená obecně jedinečnost všech multiplikátorů nebo biasu v každé degenerované variantě. Klasifikace využije součet jen přes podpůrné vektory.

g(x)=∑i∈SVαiyixi⊤x+b

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 6, 7

ROZ 12 · Výklad

Měkký okraj a proměnné ξ

Neseparovatelná data dovolují porušení okraje. ξ=0 splňuje kanonické omezení, 0<ξ<1 leží správně uvnitř pásu a ξ>1 může znamenat chybné znaménko.

Penalizujeme součet porušení, nikoli přímo počet chyb. Velké C zvyšuje cenu porušení; malé dává větší prostor regularizaci.

min 12‖w‖2+C∑iξi
yi(w⊤xi+b)≥1−ξi,ξi≥0

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 7, 8

ROZ 12 · Výklad

Měkký okraj v duálu

Duální multiplikátory nyní leží mezi 0 a C. U bodů s 0<αᵢ<C je ξᵢ=0 a bod leží na okraji; z těchto bodů lze určit bias.

Pokud takové body chybějí, bias se určuje z přípustného intervalu nebo podle řešiče. Zvyšování C neudělá neseparovatelná data separovatelnými.

0≤αi≤C
b=yi−∑jαjyjK(xj,xi)
0<αi<C

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 8, 9

ROZ 12 · Výklad

Více než dvě třídy

One-vs-rest učí K binárních modelů, one-vs-one K(K−1)/2. Jejich skóre a hlasování vyžadují pravidlo řešení shod.

Existují i společné vícetřídé optimalizační formulace. SVM proto není principiálně omezeno na dvě třídy; binární odvození je výchozí stavební kámen.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 9, 10

ROZ 12 · Výklad

Jádrový trik

Skalární součin ve vhodném prostoru příznaků nahradíme jádrem K(x,z). Aby šlo o platné reálné jádro, musí být symetrické a jeho Gramovy matice pozitivně semidefinitní.

Lineární, polynomiální a Gaussovo RBF jádro představují různé podobnosti. RBF používá čtverec vzdálenosti x−z, nikoli čtverec skalárního součinu.

K(x,z)=⟨ϕ(x),ϕ(z)⟩
KRBF(x,z)=e−γ‖x−z‖2,γ>0
g(x)=∑i∈SVαiyiK(xi,x)+b

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 10, 11, 12

ROZ 12 · Výklad

Výběr jádra a regularizace

Společně ladíme C, parametry jádra i předzpracování. Volba musí proběhnout uvnitř validačního procesu, konečný test zůstává stranou.

SVM kombinuje chybu na tréninku s kontrolou složitosti. Ani dobré trénovací skóre ani velký okraj samy neověřují odolnost vůči změně rozdělení.

TréninkValidaceTest
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 12, 13

ROZ 12 · Výklad

Co jednotlivé klasifikátory vracejí

Některé modely vracejí jen třídu, jiné pořadí nebo vektor skóre. Slučovat můžeme pouze výstupy s jasně sjednoceným významem a pořadím tříd.

Raw SVM skóre není posteriorní pravděpodobnost. Kalibrace i váhy kombinace se učí na vhodně oddělených datech.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 13, 14

ROZ 12 · Výklad

Hlasování a Borda

Většinové hlasování počítá vítězné třídy dílčích modelů. Borda sčítá pořadí každé třídy a vybírá nejnižší součet.

Vazby a váhy musí být předem definované. Pro tři žebříčky [1,5,4,2,3], [5,1,3,2,4], [5,3,1,4,2] jsou součty pořadí tříd [6,13,10,12,4], vítězí tedy třída 5.

R(k)=∑j=1mrj(k)
y^=argminkR(k)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 14, 15

ROZ 12 · Výklad

Kombinace skóre

Průměr, minimum a maximum mají různý význam. Maximum zvýrazní optimistický model, minimum vyžaduje souhlas a průměr vyrovnává rozdíly.

Průměr kalibrovaných pravděpodobností může být užitečný ensemble. Prostý součin nebo jiná „Bayesovská“ kombinace vyžaduje model závislostí; nelze automaticky násobit posteriory a opakovaně započítat prior.

p¯k=1m∑jpj(k)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 15

ROZ 12 · Interaktivní doplněk GRAFIT

Geometrie lineární hranice

Vyzkoušejte · doplněk GRAFIT

Konstruovaný didaktický model. Měňte vstupy a sledujte výpočet; nejde o naměřený výkon ani plný učící algoritmus.

ROZ 12 · Řešený příklad · doplněk GRAFIT

Vzdálenost od přímky

Pro w = (3,4), b = −5 a x = (1,1) je skóre 2 a ‖w‖ = 5, tedy vzdálenost od hranice 0,4. Kanonické hyperroviny se skóre ±1 mají šířku pásu 2/5 = 0,4; to je jiná veličina než vzdálenost libovolného bodu.

Nepovažujte 2/‖w‖ za empirický margin bez ověření kanonického měřítka a podmínek vzorků. Hračková geometrická ukázka níže SVM netrénuje.

ROZ 12 · Ověření porozumění · doplněk GRAFIT

Zkuste si odpovědět

Změní se geometrická hranice při násobení w i b stejným kladným číslem?

Zobrazit vysvětlení

Ne. Znaménko skóre i množina bodů s nulovým skóre zůstávají stejné; samotné číselné skóre se přenásobí.

ROZ 12 · Provenience

Podklady a způsob zpracování

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.

Stáhnout původní PDFAutorský zdrojMapa témat a SHA-256

Obsah přednášky

Moje poznámky

Ukládají se jen v tomto prohlížeči.