← Zpět na přehledROZ / 02
VýkladS komentářem
ROZ 02 · Výklad

Pravděpodobnost jako základ rozhodnutí

Stejné měření může pocházet z různých tříd. Bayesovské rozhodování propojuje model měření, apriorní znalost a cenu chyby.

Postupně zavedeme jevy, podmíněnou pravděpodobnost, posterior a rozhodnutí s nejmenší očekávanou ztrátou.

Prior × modelPosteriorNejmenší riziko
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1

ROZ 02 · Výklad

Množiny a jevy

Jev je množina výsledků experimentu. Sjednocení znamená „alespoň jeden“, průnik „oba současně“ a doplněk „jev nenastal“.

Například pro A={1,2,3} a B={3,4,5} je průnik {3} a rozdíl A∖B={1,2}. Disjunktní jevy nemají společný výsledek.

A⧵B=A∩Bc
A∩B=∅
ABA ∩ B
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 1, 2, 3

ROZ 02 · Výklad

Pravidla pro množiny

Sjednocení i průnik jsou komutativní a asociativní. Distribuční a absorpční zákony umožňují přepsat tentýž jev více způsoby.

De Morganovy zákony vysvětlují, jak se při doplňku zamění sjednocení za průnik.

(A∪B)c=Ac∩Bc
(A∩B)c=Ac∪Bc

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 3

ROZ 02 · Výklad

Klasický a axiomatický pohled

V konečném prostoru stejně pravděpodobných výsledků je pravděpodobnost poměr příznivých a všech výsledků. Mimo tento předpoklad samotné počítání možností nestačí.

Axiomaticky je pravděpodobnost nezáporná, jistý jev má míru jedna a míry spočetně mnoha disjunktních jevů se sčítají.

P(A)=|A||Ω|
P(A∪B)=P(A)+P(B)−P(A∩B)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 4

ROZ 02 · Výklad

Relativní četnost

Z n opakování zaznamenáme nₐ výskytů jevu A. Jejich podíl je empirická relativní četnost — odhad pravděpodobnosti z konkrétního souboru pokusů.

Konečný výsledek kolísá. Zákon velkých čísel popisuje konvergenci za příslušných předpokladů, například u nezávislých stejně rozdělených pokusů; neříká, že se každý další odhad musí zlepšit.

p^n(A)=nAn
p^n(A)→a.s.P(A)
PokusyPočet výskytůPodíl nₐ / n
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5

ROZ 02 · Interaktivní doplněk GRAFIT

Od pokusů k relativní četnosti

Vyzkoušejte · doplněk GRAFIT

Konstruovaný didaktický model. Měňte vstupy a sledujte výpočet; nejde o naměřený výkon ani plný učící algoritmus.

ROZ 02 · Výklad

Podmíněná pravděpodobnost

Podmínka B zúží uvažovaný prostor na situace, ve kterých B nastalo. Pro kladné P(B) znovu normalizujeme pravděpodobnost průniku.

Nezávislost znamená, že tato informace pravděpodobnost A nemění. Párová nezávislost více jevů ještě obecně nezaručuje jejich společnou nezávislost.

P(A∣B)=P(A∩B)P(B)
P(A∩B)=P(A)P(B)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5, 6

ROZ 02 · Výklad

Úplná pravděpodobnost

Vzájemně disjunktní jevy Aᵢ pokryjí všechny možnosti. Pravděpodobnost B získáme součtem přes všechny tyto cesty.

To je jmenovatel, který budeme potřebovat pro přepočet pravděpodobnosti třídy po pozorování.

P(B)=∑iP(B∣Ai)P(Ai)
ΩAAᶜA ∩ BA ∩ BᶜAᶜ ∩ BAᶜ ∩ Bᶜ
Rozklad prostoru podle jevu A a poté podle jevu B.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 5, 6

ROZ 02 · Výklad

Bayesova věta

Pravděpodobnost příčiny po pozorování není totéž co pravděpodobnost pozorování při známé příčině. Bayesova věta mezi nimi převádí pomocí prioru a evidence.

Důkaz dostaneme dvojím rozepsáním stejného průniku A∩B.

P(A∣B)=P(B∣A)P(A)P(B)
P(A∩B)=P(B∣A)P(A)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 6, 7

ROZ 02 · Výklad

Náhodná veličina a distribuční funkce

Náhodná veličina přiřazuje výsledkům experimentu čísla. Distribuční funkce udává pravděpodobnost hodnot nejvýše x; je neklesající, zprava spojitá a má krajní limity 0 a 1.

Pokud existuje hustota, pravděpodobnost intervalu získáme integrací. Hodnota hustoty v bodě sama není pravděpodobností tohoto bodu.

FX(x)=P(X≤x)
FX(x)=∫−∞xfX(t)dt

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 7

ROZ 02 · Výklad

Moment, rozptyl a medián

Střední hodnota shrnuje polohu rozdělení, rozptyl průměrnou čtvercovou odchylku. Medián dělí pravděpodobnost na dvě poloviny a nemusí být jednoznačný.

U diskrétní veličiny nahrazujeme integrály součty. Smíšené rozdělení může mít současně bodové hmoty i spojitou část.

Var(X)=E[(X−E[X])2]
E[X]=∑ixiP(X=xi)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 8

ROZ 02 · Výklad

Společné, podmíněné a marginální rozdělení

Společné rozdělení nese vztahy více veličin. Podmíněním jednu informaci fixujeme; marginalizací ji naopak odstraníme součtem nebo integrálem.

Zákon iterované střední hodnoty umožňuje nejprve průměrovat při známé podmínce a pak přes její rozdělení.

pX(x)=∫pX,Z(x,z)dz
E[Y]=EX[E[Y∣X]]

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 8, 9

ROZ 02 · Výklad

Gaussovský vektor

Vícerozměrné normální rozdělení popisuje střed μ a kovariance Σ. V regulárním případě je Σ pozitivně definitní.

Lineární transformace i marginály zůstávají normální. U společně normálního vektoru znamená diagonální kovariance nezávislost souřadnic; u obecných rozdělení tato implikace neplatí.

X~N(μ,Σ)
Σ=E[(X−μ)(X−μ)⊤]
AB
Dvě konstruované hustoty; výška není pravděpodobnost bodu.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 9, 10

ROZ 02 · Výklad

Pozitivní nález není automaticky vysoký posterior

Původní didaktický příklad používá P(C)=0,014, P(+|C)=0,75 a P(+)=0,11. Po dosazení dostaneme přibližně 9,55 %.

Jde o čísla z historického výukového příkladu, nikoli aktuální klinické údaje nebo doporučení pro konkrétního pacienta.

P(C∣+)=0.75·0.0140.11
P(C∣+)≈0.09545

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 10, 11

ROZ 02 · Výklad

Statistický model třídy

Model potřebuje prior πᵢ a podmíněnou hustotu nebo hmotnostní funkci p(x|ωᵢ). Jejich směs tvoří rozdělení pozorování.

Nejprve z dat získáme posterior. Teprve další krok určí nejlepší akci podle ztrátové funkce.

p(x)=∑i=1Kπip(x∣ωi)
P(ωi∣x)=πip(x∣ωi)p(x)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 11

ROZ 02 · Výklad

Bez informace a se stejnými priory

Pokud je pozorování pro všechny třídy stejně pravděpodobné, nezískali jsme rozlišující informaci a rozhodují priory.

Pokud jsou naopak priory stejné, pořadí tříd určí jejich věrohodnosti. To není důvod používat stejné priory v každé reálné úloze.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 12

ROZ 02 · Výklad

MAP rozhodnutí a logaritmické skóre

Při stejné ceně všech omylů vybereme nejpravděpodobnější třídu po pozorování. Společnou evidenci p(x) lze při porovnání vynechat.

Logaritmy umožní počítat skóre bez násobení mnoha malých čísel. Remízu je třeba řešit předem určeným pravidlem.

ω^(x)=argmaxiP(ωi∣x)
gi(x)=logp(x∣ωi)+logπi

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 12, 13

ROZ 02 · Výklad

Matice ztrát a podmíněné riziko

Položka cᵢⱼ je cena volby i, když skutečná třída je j. Podmíněné riziko je průměr této ceny přes posteriorní rozdělení pravé třídy.

Bayesovská akce minimalizuje riziko pro právě pozorované x. Integrované přes rozdělení dat pak minimalizuje i celkové očekávané riziko.

R(i∣x)=∑jcijP(ωj∣x)
a^(x)=argminiR(i∣x)
RozhodnutíZtrátaPrůměrné riziko
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 13, 14

ROZ 02 · Výklad

Nulová–jednotková ztráta

Správná volba stojí 0 a omyl 1. Riziko volby třídy i je proto jedna minus její posterior.

Za tohoto konkrétního modelu ztrát je minimalizace rizika totéž co minimalizace pravděpodobnosti chyby. Obecná nákladová matice může vést k jiné volbě.

R(i∣x)=1−P(ωi∣x)
e*(x)=1−maxiP(ωi∣x)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 14

ROZ 02 · Výklad

Minimax při neznámých priorech

Když se prior mění nebo jej neznáme, můžeme hledat pravidlo s co nejmenším nejhorším rizikem. U pevné hranice je riziko lineární funkcí prioru.

Minimax chrání proti nejhoršímu případu, ale nemusí být nejlepší pro skutečný známý prior. Tyto dvě optimalizační úlohy nemají stejný cíl.

δmm=argminδmaxπR(δ,π)
PravidloNejhorší priorMinimum maxima
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 14, 15, 16

ROZ 02 · Výklad

Možnost nerozhodnout

Klasifikátor může mít také zamítací akci s konstantní cenou cᵣ. Pak třídu přijme jen tehdy, když její nejmenší riziko nepřekročí cenu zamítnutí.

Pro nulovou–jednotkovou ztrátu to znamená požadovat dostatečně vysoký největší posterior. Zamítnutí není další běžnou třídou objektů.

miniR(i∣x)≤cr
maxiP(ωi∣x)≥1−cr
PosteriorRiziko chybyTřída / odmítnutí
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 17, 18

ROZ 02 · Výklad

Rozhodování se dvěma třídami

Porovnáme rizika obou voleb. Jestliže jsou rozdíly cen omylů kladné, lze podmínku vyjádřit prahem poměru věrohodností.

Na pravé straně působí jak apriorní četnosti, tak cena jednotlivých chyb.

p(x∣ω1)p(x∣ω2)>τ
τ=(c12−c22)π2(c21−c11)π1

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 18

ROZ 02 · Výklad

Více tříd a rozhodovací oblasti

Stejná myšlenka funguje pro K tříd: každá akce má své riziko a vybereme nejmenší. U symetrické ztráty rozhoduje největší posterior.

Při zamítání vedle oblastí přijatých tříd sledujeme i oblast zamítnutí. Chybovost mezi přijatými případy nesmíme zaměnit za podíl chyb ze všech případů.

A=P(přijetí),Q=1−A
Oblast A / oblast B
Nově kreslené schéma GRAFIT · ilustrační konstrukce.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 18, 19, 20

ROZ 02 · Výklad

Celková pravděpodobnost chyby

Podmíněnou chybu je třeba zprůměrovat přes všechny možné vstupy. Pro rozhodnutí s nulovou–jednotkovou ztrátou se správná klasifikace získá integrací nad oblastmi správných tříd.

Bayesova chyba je dolní mez pro daná skutečná rozdělení a zvolenou informaci. Odhadnutý klasifikátor této meze nemusí dosáhnout.

Pe=EX[e(X)]
Pcorrect=∑i∫Siπip(x∣ωi)dx

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 20, 21

ROZ 02 · Výklad

Horní mez chyby při zamítání

Jestliže je podmíněná chyba každého přijatého případu nejvýše cᵣ, platí pro chyby ze všech případů mez cᵣ·A.

Připočteme-li cenu zamítnutých případů, celkové riziko nepřekročí cᵣ. Jde o tvrzení pro správný posterior a deklarovanou ztrátu, ne automatickou garanci neověřeného modelu.

P(chyba a přijetí)≤crA
R≤crA+cr(1−A)=cr

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 21

ROZ 02 · Výklad

Volba apriorních pravděpodobností

Prior může vycházet z cílové populace, dřívější klasifikace nebo kontextu. Vyvážený trénovací soubor nemusí mít stejnou četnost tříd jako nasazení.

Rovnoměrný prior je volba modelu, nikoli důsledek neexistence informace. Změnu prioru je třeba odlišovat od změny podmíněných rozdělení.

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 21, 22

ROZ 02 · Výklad

Diskrétní a binární příznaky

Pro diskrétní data nahrazujeme integrály součty. U podmíněně nezávislých binárních příznaků dostaneme součin Bernoulliho pravděpodobností.

Logaritmus poměru věrohodností je pak lineární v binárních souřadnicích. Nezávislost musí platit při známé třídě.

P(x∣ωi)=∏jpijxj(1−pij)1−xj

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 22, 23

ROZ 02 · Výklad

Hlasy binárních příznaků

Pokud má příznak stejnou pravděpodobnost jedničky v obou třídách, jeho váha je nulová. Větší pravděpodobnost jedničky v první třídě dává kladný příspěvek pro první třídu.

Konstantní člen obsahuje i prior. Hlasování tedy není pouhé počítání jedniček bez ohledu na jejich význam.

g(x)=b+∑jwjxj
wj=logp1j(1−p2j)p2j(1−p1j)

Michal Haindl · podklad 2023–2024 · tematický přepis GRAFIT. Zdrojové PDF · strany 23

ROZ 02 · Interaktivní doplněk GRAFIT

Apriorní četnost a pozitivní výsledek

Vyzkoušejte · doplněk GRAFIT

Konstruovaný didaktický model. Měňte vstupy a sledujte výpočet; nejde o naměřený výkon ani plný učící algoritmus.

ROZ 02 · Řešený příklad · doplněk GRAFIT

Vzácná událost a pozitivní test

Předpokládejme četnost 1 %, citlivost 90 % a falešně pozitivní míru 5 %. Pak P(událost|+) = 0,009 / (0,009 + 0,0495) ≈ 15,4 %. Jde o syntetický pravděpodobnostní příklad, nikoli údaj o skutečném testu.

Záměna P(ω|x) za p(x|ω) vede k ignorování apriorní četnosti. Posteriorní pravděpodobnosti navíc nemusí být dobře kalibrované, pokud je špatně odhadnut model.

ROZ 02 · Ověření porozumění · doplněk GRAFIT

Zkuste si odpovědět

Kdy je MAP pravidlo současně pravidlem minimálního rizika?

Zobrazit vysvětlení

Při nulové ztrátě správné klasifikace a stejné kladné ceně všech chybných klasifikací.

ROZ 02 · Provenience

Podklady a způsob zpracování

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.

Stáhnout původní PDFAutorský zdrojMapa témat a SHA-256

Obsah přednášky

Moje poznámky

Ukládají se jen v tomto prohlížeči.