Výběr ponechá podmnožinu původních příznaků. Extrakce vytváří nové souřadnice jako funkce vstupu; ani použití všech vstupů nezaručuje zachování veškeré informace.

Motivací je cena měření, přenos, interpretovatelnost, stabilnější odhad i klasifikace. Nejlepší komprese pro rekonstrukci nemusí být nejlepší pro rozlišení tříd.

Pro dvě třídy závisí minimální chyba na překryvu vážených hustot. Vzdálenost rozdělení může poskytnout náhradní kritérium nebo mez chyby.

f-divergence používá konvexní funkci poměru hustot. Ne každá divergence je symetrická a ne každá splňuje axiomy metriky.

Chernoffova rodina mění exponent s mezi 0 a 1. Bhattacharyyova vzdálenost odpovídá s=1/2. Matusitova vzdálenost porovnává odmocniny hustot.

Symetrizovaná KL divergence porovnává logaritmický poměr, Patrickova–Fisherova míra rozdíl hustot v L². Vážené varianty navíc zohledňují apriorní četnosti.

Pokud se podmíněné rozdělení příznaků neliší mezi třídami, pozorování o třídě neinformuje. Můžeme měřit odchylku podmíněné hustoty od celkové nebo pokles nejistoty.

Podmíněná Shannonova entropie průměruje nejistotu posterioru. Rozptylová kritéria poměřují vzdálenost tříd s jejich vnitřní variabilitou; sama neznají celý tvar hustot.

Výběr m z d příznaků obsahuje binomický počet kandidátů. Řazení jednotlivých příznaků obecně neřeší interakce ani redundanci.

Výjimkou je skutečně aditivní kritérium, například vhodná Gaussovská úloha se společnou diagonální kovariancí. Pak lze seřadit jednotlivé příspěvky.

Metoda vzájemných korelací opakovaně odstraní příznak s největší průměrnou absolutní korelací k ostatním. Po každém odstranění se skóre aktualizuje.

Malá korelace není obecně nezávislost a velká korelace neznamená zbytečnost pro klasifikaci. Tato heuristika hledá nízkou lineární redundanci, nikoli automaticky nejlepší třídy.

Dopředný výběr přidává nejlepší zbývající příznak, zpětný odebírá nejméně škodlivý. Nevratná rozhodnutí vytvářejí vnořené podmnožiny a mohou minout optimum.

Simulované žíhání někdy přijme horší řešení. Genetické hledání pracuje s populací bitových masek. Obě metody vyžadují rozpočet i nezávislé ověření výsledku.

Při z=Aᵀx se střed transformuje jako Aᵀμ a kovariance jako AᵀΣA. Optimalizovat lze přímo kritérium oddělení tříd.

U dvou tříd se společnou kovariancí je Fisherův směr úměrný Σ⁻¹(μ₁−μ₂). Nelineární extrakce umožní složitější reprezentace, ale komplikuje odhad i interpretaci.

Lineární diskriminační analýza hledá směry s velkým mezitřídním a malým vnitrotřídním rozptylem. Jde o jinou úlohu než zachování celkového rozptylu.

Počet nezávislých diskriminačních směrů je nejvýše K−1. Singularitu vnitrotřídní matice řešíme redukcí nebo regularizací.

Sammonova projekce numericky hledá nízkorozměrné pozice, které zachovají původní párové vzdálenosti, se zvýšeným důrazem na malé vzdálenosti.

Výsledkem je poloha konkrétních bodů. Pro nový bod potřebujeme další postup, nikoli jen tabulku souřadnic. Nulové vzdálenosti duplicitních bodů vyžadují ošetření.

Představte si dvě třídy oddělené malým posunem ve svislém směru, ale s velkým společným vodorovným rozptylem. PCA na jednu dimenzi může zvolit vodorovný směr a třídní informaci zahodit.

PCA není metoda s učitelem a nevidí štítky tříd. Vysoké procento zachovaného rozptylu samo neříká, kolik klasifikační informace zůstalo.

Je hlavní komponenta vždy nejlepší příznak pro klasifikaci?

Výběr zachovává podmnožinu původních příznaků. Extrakce vytváří nové souřadnice jako funkce původního vstupu. Obě cesty mohou snížit dimenzi, ale mají odlišnou interpretaci a cenu výpočtu.

PCA pracuje s centrovanými daty a hledá ortogonální směry největšího rozptylu. V eukleidovské míře současně minimalizuje chybu lineární rekonstrukce dané dimenze. Největší rozptyl však nemusí být největší třídní rozlišitelnost.

Kovarianční PCA závisí na jednotkách vstupů. Změna jednotek jedné proměnné může změnit hlavní směr. Volba standardizace je věc zadání a odhadu na trénovacích datech.

Vyčerpávající hledání roste s počtem příznaků exponenciálně. Postupné strategie jsou levnější, ale mohou minout kombinaci příznaků, které jsou užitečné společně. Celý výběr musí být uvnitř validačního postupu.

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.