Rozhodovací pravidlo potřebuje parametry nebo celá rozdělení. Učení je jejich odhad z dostupných pozorování.

Projdeme bodové i Bayesovské odhady, neparametrické hustoty, neoznačené směsi, EM a volbu trénovacích dat.

Učení s učitelem používá označená data, bez učitele hledá strukturu. Transfer využívá předchozí model pro novou úlohu; jeho vhodnost závisí na vztahu domén.

Přednáška zdůrazňuje také férovost a změnu prostředí. Velký soubor nemůže automaticky napravit systematicky chybné či nereprezentativní označení.

Parametrický model předem volí rodinu rozdělení a učí konečný počet parametrů. Neparametrický model dovoluje strukturu více přizpůsobit datům.

Flexibilita ale není zdarma: potřebujeme dost dat, vhodné vyhlazení a kontrolu složitosti. Oba přístupy obsahují předpoklady.

V klasickém pojetí jsou parametry pevné neznámé hodnoty a hodnotíme opakované použití odhadu. Bayesovské pojetí pracuje s jejich priorním a posteriorním rozdělením.

Množství známé informace určuje úlohu: od hotového klasifikátoru přes označené či částečně označené vzorky až po zcela neoznačenou směs.

Parametr lze jednoznačně obnovit z rozdělení jen tehdy, pokud různé parametry nepopisují stejné pozorovatelné rozdělení.

U směsí běžně nerozlišujeme přejmenování komponent. Závažnější neidentifikovatelnost nastává, když ani po této ekvivalenci nelze jednotlivé komponenty odvodit.

Odhad je funkce náhodného výběru. Jeho hodnota se mezi výběry mění, i když je skutečný parametr stejný.

Momentová metoda, minimum χ², věrohodnost a Bayesovský odhad optimalizují různá kritéria. Nelze je zaměnit jen podle toho, který dává hezčí číslo.

Nestranný odhad má střední hodnotu rovnou pravému parametru. Konzistence znamená přibližování odhadu pravé hodnotě s rostoucím množstvím dat v určeném smyslu konvergence.

Ani malá variance nezaručuje malé vychýlení. Konzistentní odhad také nemusí být nestranný pro každý konečný vzorek.

Postačující statistika uchovává ve vzorku všechnu informaci relevantní k parametru v daném modelu. Nejde o univerzální kompresi pro libovolnou budoucí úlohu.

Například u Bernoulliho pokusů se společným parametrem stačí pro jeho odhad znát počet úspěchů a velikost výběru.

Teoretické momenty ztotožníme s výběrovými a vyřešíme rovnice pro parametry. U normálního rozdělení tak dostaneme výběrový průměr a rozptyl s dělením n.

Metoda vyžaduje existenci příslušných momentů. Například Cauchyho rozdělení nemá běžnou konečnou střední hodnotu ani rozptyl.

Pozorování rozdělíme do intervalů. Porovnáváme jejich skutečné četnosti nᵢ s očekávanými n·pᵢ(θ).

Volbou parametrů minimalizujeme vážené odchylky. Vzorec vyžaduje kladné očekávané četnosti; kvantování a malé počty mohou ovlivnit výsledek.

ML vybírá parametr, při kterém jsou pozorovaná data nejvěrohodnější. U nezávislých vzorků přejdeme od součinu k součtu logaritmů.

MAP přidává prior parametru. Pseudověrohodnost je jiné zjednodušené kritérium a vyžaduje vlastní zdůvodnění.

Posterior parametru kombinuje prior s věrohodností trénovacích dat. Pro nové pozorování integrujeme přes zbývající nejistotu o parametru.

Nová data lze zapracovat rekurzivně: včerejší posterior se stane dnešním priorem. Konvergence vyžaduje předpoklady modelu a nelze ji slibovat bez nich.

Pro kvadratickou ztrátu minimalizuje posteriorní očekávanou ztrátu posteriorní průměr. Absolutní ztráta vede k posteriornímu mediánu.

Maximum posteriorní hustoty je MAP, ale není automaticky optimální pro libovolnou ztrátovou funkci.

Počet prvků v buňce převedeme na pravděpodobnostní hmotu dělením počtem pozorování. Pro hustotu musíme navíc dělit objemem buňky.

Při k intervalech v každém z d rozměrů vznikne kᵈ buněk. Ve velkém rozměru bývá většina z nich prázdná.

Můžeme hledat oddělené módy rozdělení, nebo předpokládat směs parametrických komponent. Výsledek závisí na tom, co model považuje za shluk.

UNISEP promítá data do směrů vlastních vektorů, hledá minima mezi módy histogramu a rekurzivně rozděluje soubor. Šum a projekce mohou vytvářet nebo skrývat zdánlivé módy.

Pozorujeme pouze součet vážených komponent, nikoli jejich označení. Přejmenování komponent samo o sobě rozdělení nezmění.

U dvousložkové Bernoulliho směsi se stejnými vahami určuje pozorování pouze průměr parametrů. Dvojice 0,2 a 1,0 může dát stejnou směs jako 0,6 a 0,6.

Momenty směsi jsou vážené součty momentů jejích komponent. U Gaussovské směsi druhý moment obsahuje rozptyl i čtverec středu.

Samotný počet rovnic nestačí: řešení může být nejednoznačné nebo nestabilní. Pozorovatelný střed směsi není středem každé komponenty.

Při maximální věrohodnosti neoznačené směsi se uvnitř každého logaritmu sčítají všechny komponenty. Parametry proto nelze jednoduše odhadnout po třídách nezávisle.

Latentní přiřazení pozorování ke komponentám vede k algoritmu EM.

Podklad pracuje s četnostmi (125,18,20,34) a kategoriemi s pravděpodobnostmi (2+α,1−α,1−α,α)/4. První kategorie slučuje dvě skryté možnosti.

Při α=0,5 připadne proměnné části první kategorie očekávaných 25 pozorování. M-krok dá α′=59/97≈0,60825.

Při přesném E-kroku a odpovídající maximalizaci věrohodnost neklesá. To ale nezaručuje globální optimum ani jediný správný rozklad.

Záleží na inicializaci a regularitě. U Gaussovských směsí může komponenta kolabovat do bodu a vést k degeneraci.

Uvnitř každé komponenty lze předpokládat nezávislé diskrétní souřadnice. E-krok určí váhy přiřazení a M-krok z nich počítá vážené četnosti.

Podmíněná nezávislost uvnitř komponent neznamená nezávislost v celé směsi. Marginalizaci lze v tomto modelu provést součtem přes komponenty.

Odpovědnost rⱼₖ říká, nakolik bod j patří komponentě k. Z těchto vah vypočteme efektivní velikost komponenty, její střed a kovarianci.

Kovariance musí být numericky použitelná. Omezení společné kovariance nebo regularizace mění model a mají být explicitní.

Známé třídy usnadní oddělené učení komponent; neoznačená směs nese menší informaci o jejich rozkladu. V obou případech rozhoduje reprezentativnost dat.

Vyvažování, podvzorkování, kopírování a syntéza mají odlišné důsledky. Kopie jednoho případu není nové nezávislé pozorování.

Vzorková kovariance nemusí být při malém n invertibilní. Můžeme snížit rozměr, sdílet kovarianci mezi třídami nebo ji přiblížit stabilnějšímu cíli.

Smrštění k násobku jednotkové matice ponechá průměrné měřítko rozptylu. Sílu regularizace vybíráme na validačních datech.

Průměr a směrodatnou odchylku pro standardizaci spočítáme pouze z trénovací části. Stejnou transformaci potom použijeme na validaci a test. Při křížové validaci se odhad transformace opakuje uvnitř každého trénovacího foldu.

Opakované ladění podle testovacího výsledku mění test v další validační sadu. Stejné osoby či téměř duplicitní vzorky ve více sadách mohou hodnocení výrazně zkreslit.

Můžeme standardizaci před křížovou validací naučit na všech vzorcích?

Učení s učitelem využívá vstupy a cílové odpovědi. Učení bez učitele hledá strukturu bez těchto třídních štítků. Rozdíl není v konkrétním programovacím jazyce, ale v dostupné informaci a cíli úlohy.

Parametry se odhadují v trénování, hyperparametry se vybírají validačním postupem. I výběr příznaků, normalizace a rozhodovací práh mohou být součástí učení a musejí respektovat hranici mezi tréninkem a testem.

Složitější model může snížit trénovací chybu a přitom zhoršit chybu na nových datech. Regularizace, vhodná kapacita a dostatek reprezentativních dat pomáhají, ale neposkytují automatickou záruku přenosu do jiné domény.

Nízká optimalizační ztráta sama neprokazuje dobrou klasifikaci. Výsledky závisejí na rozdělení dat, metrice, rozdělení do sad i opakování experimentu. Test použijeme až pro závěrečný odhad výkonu vybraného postupu.

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.