Biologický neuron, synapse a výpočetní jednotka nejsou zaměnitelné objekty. Umělá síť je účelový model; její úspěch nevyžaduje věrnou simulaci celého mozku.

Podklad připomíná vývoj od logických neuronů přes perceptron k rekurentním a hlubokým sítím. Staré energetické a kapacitní odhady závisí na definici operace a způsobu měření; nepřebíráme je jako aktuální srovnání.

Expertní systém pracuje s explicitními znalostmi a pravidly. Síť přizpůsobuje parametry podle dat. Rozdíl je v reprezentaci a procesu učení, ne v jednoduchém dělení na logiku a inteligenci.

Historické příklady zahrnují ART, LVQ, asociativní paměti, klasifikaci i optimalizaci. Symbolické a numerické postupy lze kombinovat.

Skoková funkce dává tvrdé rozhodnutí, sigmoid hladký přechod mezi 0 a 1. Tanh je symetrický kolem nuly.

Saturace malých derivací může ztížit přenos gradientu. Hodnota sigmoidového výstupu není automaticky kalibrovaná pravděpodobnost.

ReLU zachová kladnou část a zápornou vynuluje. Leaky ReLU ponechá v záporné části malý sklon; parametrická varianta se tento sklon učí.

Nespojitá derivace v nule neznamená, že funkce je nespojitá. Hard tanh výstup omezí mezi −1 a 1.

Swish násobí vstup sigmoidovou bránou, GELU vstup distribuční funkcí standardní normály. Softplus je hladká aproximace kladné části.

CELU, SELU, Mish a TanhExp mění růst a saturaci. Srovnání má používat stejný protokol učení a uvést volné parametry; samotná hladkost nezaručí nejlepší výkon.

Polynomiální, sinusové a erf aktivace přinášejí odlišnou spektrální a růstovou charakteristiku. Volba souvisí s úlohou i normalizací vstupu.

Podklad odkazuje na experiment s modelováním BRDF z roku 2023. Jeho výsledek není univerzální důkaz převahy jedné aktivace. Teoretické limity nekonečné šířky či hloubky vyžadují konkrétní předpoklady.

Rekurentní síť vrací minulý stav do dalšího kroku. U lineárního skalárního příkladu hₜ=a hₜ₋₁+uₜ bez vstupu stav násobíme v každém kroku a.

Podmínka |a|<1 znamená odeznívání počátečního stavu. Při |a|=1 může stav přetrvávat nebo oscilovat, takže tvrzení o automatické divergenci na celé hranici by bylo příliš silné.

GAN společně trénuje generátor syntetických dat a diskriminátor odlišující jejich rozdělení od reálných dat. Obě části se mění, takže se mění i učení protistrany.

Vizuálně přesvědčivý výstup není důkazem stejného rozdělení ani vědeckým měřením. Režimy kolapsu a kvalita generování vyžadují vlastní hodnocení.

Přenos mimo trénovací rozdělení, předsudky, zapomínání, vysvětlitelnost a náklady jsou samostatné osy hodnocení. Číselná tvrzení o energii či úspěšnosti z původních slajdů jsou dobově podmíněná.

Síť lze zmenšovat prořezáváním nebo postupně rozšiřovat. Více neuronů automaticky neznamená ani lepší výkon, ani nevyhnutelné selhání. Kapacitu, regularizaci a učení ověřujeme validací.

Užitečná reprezentace přibližuje relevantně podobné případy a odděluje různé třídy. Předem známou symetrii můžeme vložit do architektury nebo podpořit augmentací.

Symetrická matice vah sama nezaručuje rotační invarianci. Musíme přesně popsat transformaci vstupu a požadovanou invarianci nebo ekvivarianci výstupu.

Pro x = 2, w = 1 a b = −1 je z = 1 a σ(z) = 1/(1+e⁻¹) ≈ 0,731. Toto číslo lze chápat jako pravděpodobnost jen při odpovídajícím modelu a výcviku; samotná sigmoidální funkce kalibraci nezaručuje.

Hodnota aktivace není automaticky spolehlivá pravděpodobnost. Hodnocení vyžaduje nezávislá data, vhodnou ztrátu a případně kontrolu kalibrace.

Získáme nelineární hranici pouhým skládáním afinních vrstev bez nelinearity?

Základní jednotka nejprve počítá z = wᵀx + b a poté aktivaci y = φ(z). Váhy a bias jsou parametry. Biologická inspirace není tvrzení, že tento model věrně simuluje biologický neuron.

Složení čistě lineárních a afinních vrstev je opět afinní transformace. Nelineární aktivace umožňují bohatší rozhodovací funkce. Zvolená aktivace ovlivňuje i průchod gradientu.

Zpětné šíření efektivně počítá derivace složené funkce. Optimalizátor je používá k úpravě parametrů. Ztráta a rychlost učení určují optimalizační úlohu; ani dlouhé trénování samo nezaručí dobré zobecnění.

Konvoluce využívá sdílení vah a lokální strukturu, rekurence návaznost kroků. Různé architektury odpovídají různým předpokladům. Počet parametrů není sám o sobě důkazem kvality.

Autor původních podkladů: Michal Haindl, FIT ČVUT / ÚTIA AV ČR, 2023–2024. Český tematický přepis, vysázení a didaktické doplňky: GRAFIT, 2026.

Tato verze slučuje postupná odhalení a vysvětluje témata vlastními větami. Není doslovnou reprodukcí každé původní tabulky ani náhradou aktuálních organizačních pokynů. Zdrojové PDF zůstává beze změny; žádný původní snímek zde není vložen jako obrázek.