Jedna rozhodovací teorie vede k různým klasifikátorům podle toho, jak modelujeme rozdělení a kovariance.

Projdeme Gaussovské modely, jejich výpočet, transformace, lineární učení, sousedy a kontext.

Při různých kovariancích se v rozdílu logaritmických skóre obecně nezruší kvadratický člen. Rozhodovací hranice proto může být kvadratická.

Rovnoměrný prior odstraní pouze člen log πᵢ. Neodstraní rozdíly determinantů a tvarů rozdělení.

Při společné plné kovarianci mají všechny třídy stejný elipsoidální tvar. Vzniká lineární hranice, jejíž normála zahrnuje inverzi kovariance.

Eukleidovskou vzdálenost lze chápat jako zvláštní případ, nikoli jako univerzálně vhodnou metriku.

Linearizovaný Bayesovský klasifikátor zjednodušuje obecné skóre; není obecně identický s plným kvadratickým pravidlem.

Diagonální kovariance dovoluje samostatně normalizovat jednotlivé příznaky. Při třídně odlišných diagonálách mohou zůstat kvadratické hranice.

Předpokládáme podmíněnou nezávislost příznaků při známé třídě. Každou jednorozměrnou složku pak odhadneme zvlášť.

Výpočet a počet parametrů jsou malé, ale závislé příznaky mohou tutéž informaci započítat opakovaně. Dobrá klasifikace ještě nezaručuje kalibrovaný posterior.

Podklad rozšiřuje naivní model o závislost na rodičovském příznaku, společného superrodiče nebo výběr méně závislých příznaků.

U superrodiče musí součin obsahovat také jeho vlastní pravděpodobnost. Závislosti je třeba popsat konzistentním rozkladem.

Bezeztrátové zrychlení zachovává plné skóre. Choleského rozklad dovolí řešit trojúhelníkovou soustavu místo explicitního vytváření inverze.

Kvadratickou formu lze také omezit vlastními čísly. Jestliže se bezpečné intervaly skóre nepřekrývají, některé kandidáty lze vyřadit dříve.

Plný Gaussovský i společnokovarianční model jsou při regulární afinní transformaci uzavřené rodiny. Eukleidovský model zachová svůj tvar při ortogonálním otočení, ale obecné škálování už může vyžadovat jinou metriku.

Diagonální kovariance obecné otočení nezachová. Korelační pravidlo závislé na normách středů vyžaduje další podmínky. Zmenšení rozměru není invertibilní a obecnou záruku ekvivalence nemá.

Pro více podmíněně nezávislých pozorování se logaritmy poměrů věrohodností sčítají. Opakování může stabilizovat rozhodnutí, pokud opravdu přináší novou informaci.

U nezávislých stejně rozdělených členů klesá rozptyl jejich průměru jako 1/m. U silně korelovaných snímků nelze tento přínos automaticky očekávat.

Třídy zakódujeme cílovými vektory a minimalizujeme čtvercovou odchylku skóre od těchto cílů. Konstantu lze přidat jako další souřadnici.

Normální rovnice je vhodné řešit stabilní faktorizací, při singularitě pseudoinverzí nebo regularizací.

Lineární regrese může mapovat vstup do prostoru kódů tříd. Nový bod přiřadíme k nejbližšímu cílovému kódu nebo největšímu skóre.

Kvadratické rozšíření zvýší flexibilitu i počet parametrů. Nejmenší trénovací reziduum však samo o sobě nevybírá nejlepší klasifikátor.

Vektor φ(x) může obsahovat mocniny a součiny původních souřadnic. Skóre zůstává lineární v parametrech, ale hranice je nelineární v původním prostoru.

Počet členů rychle roste. Mapování také nevytvoří nezávislou novou informaci: jeho obraz může ležet na nízkorozměrné množině.

Paralelopipedový klasifikátor omezuje přípustný interval každého příznaku. Test je levný a snadno interpretovatelný.

Oblasti se mohou překrývat nebo mezi nimi mohou být mezery. Implementace musí určit volbu při překryvu i zacházení s bodem mimo všechny intervaly.

Hustotu třídy odhadneme jako průměr jader soustředěných do trénovacích bodů. Potom použijeme stejné Bayesovské porovnání jako dříve.

Šířka jádra ovládá vyhlazení: malé jádro dává špičatý odhad, příliš velké rozmaže strukturu. Cena vyhodnocení roste s počtem prototypů.

S rostoucím vzorkem se blízcí sousedé přibližují dotazu za odpovídajících předpokladů. To samo neříká, že každý konečný k-NN dosáhne Bayesovy chyby.

Nadbytečné a špatně škálované příznaky mohou znehodnotit vzdálenost. Velký trénink také zvyšuje paměťovou a výpočetní cenu.

Markovský model omezuje závislosti na lokální okolí. Podmíněná nezávislost měření při známých třídách dovolí rozdělit část pravděpodobnostního modelu na lokální členy.

Původní odvození porovnává několik kombinací těchto předpokladů. Odhad pravděpodobnosti okolních tříd není totéž co znalost jejich skutečných hodnot.

Dvě jednorozměrné normální třídy se stejnou variancí a stejnými apriorními pravděpodobnostmi mají při stejné ceně chyb hranici v polovině mezi různými středy. Změna priorů nebo variancí tuto jednoduchou konstrukci obecně ruší.

Nezaměňujte malé skóre vzdálenosti za posteriorní pravděpodobnost. Samotná vzdálenost neobsahuje všechny normalizační a apriorní členy.

Zaručuje Gaussovský model vždy lineární hranici?

Parametrický klasifikátor předpokládá určitou rodinu rozdělení. Odhad jejích parametrů z dat a samotné rozhodovací pravidlo jsou dva různé kroky. Chybné předpoklady mohou převážit výhodu snadného výpočtu.

Střední hodnota určuje polohu a kovarianční matice rozptyl i vazby mezi souřadnicemi. Mahalanobisova vzdálenost bere tuto geometrii v úvahu. Inverze kovariance vyžaduje regulérní, případně vhodně regularizovanou matici.

Pro Gaussovské třídy se stejnou kovariancí se kvadratické členy při porovnání odečtou. Vzniká lineární hranice. Různé kovariance obecně vedou ke kvadratické hranici; nejbližší střed v eukleidovské vzdálenosti vyžaduje ještě další zjednodušení.

Malý počet příkladů ve vysoké dimenzi může dát špatně podmíněnou kovarianci. Regularizace mění odhad a musí se nastavovat bez nahlížení do testovacích dat. V praxi se často porovnávají logaritmy skóre.

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.