Subjektivní prohlídka pomůže odhalit artefakty. Objektivní vyhodnocení potřebuje definovanou referenci, výběr testu, jednotku pozorování a ztrátovou funkci.

Neexistuje univerzálně nejlepší klasifikátor pro všechny možné úlohy. Bayesova chyba je vlastnost rozdělení a ztráty; empirická testová chyba ji pouze odhaduje za daného protokolu.

Reprezentativní test zachycuje cílovou populaci i obtížné případy. Výběr jen nejodlišnějších vzorků změní jeho rozdělení.

U obrazu nerozděluj těsně sousedící nebo odvozené výřezy náhodně mezi trénink a test, pokud sdílejí informaci. Označení chyb I/II v různých oborech kolísá; vždy popiš skutečnou a predikovanou událost.

Precision odpovídá na otázku, kolik pozitivních předpovědí bylo správných. Recall říká, kolik skutečně pozitivních případů jsme našli. IoU porovnává průnik se sjednocením.

Změna rozhodovacího prahu vytváří precision–recall křivku. Plochu i zvolený pracovní bod reportujeme spolu s četností pozitivní třídy. Při nulovém jmenovateli je metrika bez stanovené konvence nedefinovaná.

Stejná četnost různých chyb nemusí znamenat stejné riziko. Ztrátu lze průměrovat podle skutečných důsledků rozhodnutí.

V podkladu je 998 jablek a dvě hrušky. Klasifikátor „vždy jablko“ má accuracy 99,8 %, ale nulový recall hrušek. Převzorkování tréninku nemění samo o sobě cílové četnosti.

Pixelové skóre neodhalí každé rozdělení jednoho objektu ani spojení několika objektů. Oblastní hodnocení rozlišuje správnou detekci, nadsegmentaci, podsegmentaci, vynechané oblasti a šum.

V ukázce ALI-kNN se porovnávají průniky referenčních a nalezených oblastí při zvoleném prahu 0,75. Procenta podkladu patří konkrétnímu experimentu, nikoli obecnému výkonu metody.

V k-fold validaci se model opakovaně učí bez právě hodnoceného bloku. Trénovací části se překrývají, takže jednotlivé odhady nejsou nezávislé replikace.

Bootstrap vzorkuje s opakováním. Pravděpodobnost, že případ v n tazích nebude vybrán, míří k 1/e. Out-of-bag případy slouží k hodnocení, ale neřeší automaticky ladění ani závislé vzorky.

Podklad porovnává odhady chyby na multispektrálních datech LANDSAT se sedmi třídami. U téhož Bayesova klasifikátoru uvádí resubstituci 27,6 %, hold-out 33,9 %, rotaci 30,4 % a Toussaintův odhad 28,9 %.

Čísla ukazují závislost závěru na protokolu. Nejsou novým měřením GRAFIT ani srovnáním dnešních algoritmů.

Další příklad LANDSAT TM rozlišuje 15 tříd v sedmi pásmech. Záměna jetele a trávy nebo městské třídy může zůstat skryta v průměru.

Uváděná accuracy 0,774 je historický resubstituční výsledek. Pro interpretaci potřebujeme také podpory tříd, precision, recall a informaci o neklasifikovaných pixelech.

Pořadí metod může změnit testovací vzorek, trénovací vzorek i náhodná inicializace. Opakované běhy zachycují jinou variabilitu než nové nezávislé datasety.

Párové porovnání používá stejné testovací případy pro oba modely. Reportuj rozdělení rozdílů a protokol, nikoli jen dvě nejlepší hodnoty.

Test pro dvě metody na stejných případech využívá pouze neshodné výsledky: b případů správně jen metodou A, c správně jen metodou B.

Příklad b=14, c=5 dává s korekcí 64/19≈3,368. V podkladu nedosahuje hranice 3,841 pro asymptotický test na hladině 0,05. Malý počet neshod je vhodné řešit přesným binomickým testem.

Friedmanův test používá pořadí K metod v N blocích, typicky datasetech. Shody dostanou průměrné pořadí; test zkoumá souhrnnou nulovou hypotézu.

Zamítnutí samo neurčí, které dvojice se liší. Následné testy potřebují kontrolu násobného porovnávání. Číselný příklad v podkladu je historická demonstrace, ne nové benchmarkové tvrzení.

Při 990 negativních a 10 pozitivních případech má klasifikátor „vždy negativní“ accuracy 99 %, ale recall pozitivní třídy 0 %. Precision je nedefinovaná, protože nebyl předpovězen žádný pozitivní případ.

Nezaměňujte precision za recall ani jeden údaj bez rozmyslu nepřekládejte jako „přesnost“. Uvádějte vzorec, pozitivní třídu a jmenovatel.

Jaký recall má pravidlo „vždy negativní“, pokud jsou v testu pozitivní případy?

TP a FN se vztahují ke skutečně pozitivním případům; FP a TN ke skutečně negativním. Bez určení pozitivní třídy a orientace matice záměn je snadné zaměnit citlivost, přesnost a specificitu.

Precision = TP/(TP+FP), recall = TP/(TP+FN), specificity = TN/(TN+FP). Accuracy počítá podíl všech správných rozhodnutí. Při nulovém jmenovateli je poměr nedefinovaný; dohodnuté náhradní konvence je nutné uvést.

ROC zobrazuje TPR proti FPR, křivka precision–recall zachycuje jiný pohled. Jediné číslo AUC nenahrazuje volbu provozního bodu ani cenu chyb. Precision se mění i s apriorní četností pozitivní třídy.

Výkon z konečného vzorku je odhad. Způsob dělení, závislosti mezi vzorky a interval nejistoty jsou součástí jeho interpretace. Téměř stejné skóre nemusí znamenat prokázaný rozdíl metod.

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.