NI-ROZ / ANI-ROZ

NI-ROZ / ANI-ROZ · CvičeníTutorial 1

Příznaky a PCAFeatures and PCA

Nejprve uvidíme, co se s daty děje. Potom změnu popíšeme čísly a maticemi.First observe what happens to the data. Then describe the change with numbers and matrices.

90 minut · česky a anglicky · všechny ukázky fungují bez přihlášeníminutes · Czech and English · no sign-in required

  1. Vzorek a příznak; projekce bodů na otáčenou osu.Samples, features and projection onto a rotating axis.
  2. Av, centrování, rozptyl, kovariance a vlastní směry.Av, centering, variance, covariance and eigenvectors.
  3. Výpočet PC1 a volba počtu komponent při rekonstrukci obrázků.Calculate PC1 and choose the number of components for image reconstruction.

U každého klikátka nejprve odhadněte výsledek změny. Pak změňte jeden parametr a vysvětlete, co se stalo.For each interactive example, predict the effect first. Then change one parameter and explain the result.

Vzorek, příznak a vektorSample, feature and vector

Vzorek je jeden měřený objekt. Příznak je jedno jeho číselné měření. Dvě měření vzorku C tvoří příznakový vektor x₃ = (3, 2).A sample is one observed object. A feature is one numerical measurement of it. The two measurements of sample C form the feature vector x₃ = (3, 2).

Například první příznak může být šířka a druhý výška. Zde jde o syntetická čísla bez fyzikálních jednotek.For example, the first feature could be width and the second height. Here the numbers are synthetic and have no physical units.

Klikněte na řádek.Select a row.
VzorekSamplex₁x₂
A11
B22
C32
D43

Datová matice X má n = 4 řádky a d = 2 sloupce. Řádek patří vzorku, sloupec příznaku. Štítek třídy y je jiná informace; do této matice příznaků ho nepřidáváme.The data matrix X has n = 4 rows and d = 2 columns. A row is a sample and a column is a feature. A class label y is separate information; it is not another column of this feature matrix.

Jeden řádek tabulky odpovídá jednomu bodu v grafu.One table row corresponds to one point in the plot.

PCA: otočná osaPCA: a rotating axis

Každá tečka má dva číselné příznaky. Oranžová osa jí přiřadí jedinou souřadnici, kterou ukazuje spodní graf.Each dot has two numerical features. The orange axis assigns it one coordinate, shown in the lower plot.

Použijte posuvník pro změnu směru projekce.Use the slider to change projection direction.
PCA projection of the synthetic cloud
Variance: —Zachovaný rozptylVariance retained: —

480 syntetických bodů. Měřítko spodní projekce se při otáčení nemění. Variance je výběrový rozptyl souřadnic po projekci.480 synthetic points. The lower projection scale stays fixed as the axis rotates. Variance is the sample variance of the projected coordinates.

Vysvětlení: Tečka, projekce a varianceExplanation: Point, projection and variance

Horní graf ukazuje původní body a jejich kolmé projekce na oranžovou osu. Spodní graf rozbalí souřadnice projekcí na vodorovnou stupnici. Malé svislé rozestupy spodních teček slouží jen čitelnosti, žádný další příznak neznamenají.The upper plot shows original points and their perpendicular projections onto the orange axis. The lower plot lays the projection coordinates out on a horizontal scale. Small vertical offsets between lower dots only improve visibility. They do not encode another feature.

Variance měří rozptyl souřadnic podél zvolené osy. Procento vedle ní porovnává tento rozptyl s celkovým rozptylem obou původních příznaků. Nejprve zkuste maximum najít ručně. Pak odkryjte vlastní vektory a porovnejte svůj směr s u₁.Variance measures the spread of coordinates along your chosen axis. The percentage compares it with the total variance of both original features. First search for the maximum manually. Then reveal the eigenvectors and compare your direction with u₁.

Při otočení osy o 180° se znaménka souřadnic obrátí, ale jejich rozptyl zůstane stejný.Turning the axis by 180° reverses the coordinate signs while leaving their variance unchanged.

PodnětInspiration: PCA · Andrew Tang (@ml.swe), Instagram. DefiniceDefinitions: scikit-learn. Vlastní data a výpočet.Original data and calculations.

Násobení matice vektoremMatrix–vector multiplication

Zadejte čtyři prvky matice A a dvě souřadnice vektoru v. Výsledek w = Av se ihned přepočítá. Vektor zde zapisujeme jako sloupec: matice násobí zleva.Enter the four entries of A and the two coordinates of v. The result w = Av updates immediately. Here v is a column vector: the matrix acts from the left.

A =
v =

Lze psát desetinnou čárku i tečku. Vektor změní také kliknutí do grafu nebo šipky při zaměření grafu.Both decimal dots and commas are accepted. Click in the plot to change v, or focus the plot and use the arrow keys.

Každá souřadnice výsledku je skalární součin jednoho řádku A s celým vektorem v. Vynásobíme odpovídající dvojice čísel a sečteme je.Each output coordinate is the dot product of one row of A with the whole vector v. Multiply matching entries, then add the products.

Co znamenají sloupce matice?What do the columns mean?

První sloupec je obraz e₁ = (1; 0), druhý obraz e₂ = (0; 1). Výsledek Av je jejich kombinace s vahami v₁ a v₂:The first column is the image of e₁ = (1; 0); the second is the image of e₂ = (0; 1). Av combines these columns with weights v₁ and v₂:

Vstup vInput vAv

Modrá šipka je původní vektor, oranžová se mění. Šedá mřížka zůstává jako reference, zelená ukazuje transformaci. Obě osy mají stejné měřítko; rozsah se přizpůsobuje číslům.The blue arrow is the input; the orange arrow changes. The grey grid stays as a reference; the green grid shows the transformation. Both axes use the same scale; their limits adapt to the numbers.

Posuvník pouze plynule spojí v a Av: w(t) = (1 − t)v + tAv. Pro t = 0 vidíme v, pro t = 1 výsledek Av. Nejde o opakované násobení maticí.The slider linearly connects v and Av: w(t) = (1 − t)v + tAv. At t = 0 we see v; at t = 1 we see Av. This is not repeated matrix multiplication.

Průměr a centrováníMean and centering

Průměrný vektor popisuje střed dat. Spočítáme průměr každého sloupce zvlášť.The mean vector describes the data centre. Average each column separately.

μ = ((1 + 2 + 3 + 4)/4, (1 + 2 + 2 + 3)/4)
μ = (2,5; 2)
xᶜᵢ = xᵢ − μ

Centrování posune střed do počátku. Vzdálenosti mezi body ani tvar mraku se nezmění. Například C se změní z (3, 2) na (0,5; 0).Centering moves the mean to the origin. Pairwise distances and the shape of the cloud remain unchanged. For example, C changes from (3, 2) to (0.5, 0).

Rozptyl: jak daleko od průměru?Variance: how far from the mean?

Odchylky samotné se vyruší: jejich součet je nula. Proto je umocníme. U výběrového rozptylu dělíme součet čtverců číslem n − 1.The deviations themselves cancel: they sum to zero. We therefore square them. For sample variance, divide the sum of squared deviations by n − 1.

Směrodatná odchylka s je odmocnina z rozptylu s². Má stejné jednotky jako příznak. Rozptyl má jednotky na druhou.Standard deviation s is the square root of variance s². It has the same units as the feature. Variance has squared units.

Zde používáme n − 1 konzistentně ve všech příkladech. Popisný rozptyl celé konečné populace lze definovat s dělitelem n; nemíchejte obě konvence.We consistently use n − 1 in these examples. Descriptive variance of a complete finite population can use n instead; keep the conventions distinct.

Kovariance: mění se příznaky společně?Covariance: do the features vary together?

Když mají dvě odchylky stejné znaménko, jejich součin je kladný. Opačná znaménka dávají záporný součin. Průměrujeme tyto součiny, opět s dělitelem n − 1.Two deviations with the same sign have a positive product. Opposite signs give a negative product. Average these products, again using n − 1 as the divisor.

Kovarianční maticeCovariance matrix

Kovarianční matice C uspořádá rozptyly a kovariance všech příznaků. Má rozměr d × d, zde 2 × 2. Tlačítkem vyberte její prvek.The covariance matrix C collects the variances and covariances of all features. Its size is d × d, here 2 × 2. Select an entry with the buttons.

C = XᶜᵀXᶜ / (n − 1)
C =
5/3112/3

Na diagonále jsou rozptyly. Mimo diagonálu jsou kovariance. C je symetrická, protože Δx₁Δx₂ = Δx₂Δx₁. Není to tabulka vzorků ani matice klasifikačních chyb.Diagonal entries are variances. Off-diagonal entries are covariances. C is symmetric because Δx₁Δx₂ = Δx₂Δx₁. It is neither the sample table nor a confusion matrix.

Xᶜ obsahuje centrované vzorky v řádcích. Horní T znamená transpozici, tedy prohození řádků a sloupců. Vynásobením dostaneme všechny součty součinů odchylek najednou.Xᶜ contains centred samples in rows. The superscript T denotes transpose: exchanging rows and columns. The matrix product collects every sum of products of deviations at once.

Vektor, který matice neotočíA vector the matrix does not rotate

Matice A převádí vstupní vektor v na Av. Vlastní vektor je nenulový vektor, jehož obraz leží na téže přímce: Av = λv. Vlastní číslo λ určuje násobek, ne úhel.Matrix A maps an input vector v to Av. An eigenvector is a nonzero vector whose image lies on the same line: Av = λv. The eigenvalue λ is the multiplier, not the angle.

vAv

U obecné matice může záporné λ obrátit orientaci a nulové λ poslat vektor do nuly. Kovarianční matice má nezáporná vlastní čísla. Vlastní vektory lze násobit libovolnou nenulovou konstantou.For a general matrix, a negative λ reverses orientation and a zero λ maps the vector to zero. A covariance matrix has nonnegative eigenvalues. An eigenvector can be multiplied by any nonzero constant.

Vlastní směry z konkrétní maticeEigenvectors from a concrete matrix

Vracíme se ke čtyřem původním bodům. C = [[5/3, 1], [1, 2/3]]. Projděte výpočet od rovnice po číselnou kontrolu.Return to the original four points. C = [[5/3, 1], [1, 2/3]]. Follow the calculation from the equation to its numerical verification.

Modrá u₁ a fialová u₂ jsou jednotkové vektory. Jejich zobrazené délky nevyjadřují vlastní čísla.Blue u₁ and purple u₂ are unit vectors. Their displayed lengths do not encode their eigenvalues.

Celý postup najednouThe complete calculation
det(C − λI) = 0
(5/3 − λ)(2/3 − λ) − 1 = 0
λ² − (7/3)λ + 1/9 = 0
λ₁,₂ = (7 ± 3√5)/6
v₁ = (1, λ₁ − 5/3), u₁ = v₁ / ‖v₁‖
u₂ = (−u₁₂, u₁₁)

I je jednotková matice, det determinant a ‖v‖ délka vektoru. Nulový determinant znamená, že C − λI má nenulový vektor v nulovém prostoru. V praxi se používá numerický rozklad, například eigh nebo SVD, nikoli ruční řešení polynomu.I is the identity matrix, det is the determinant and ‖v‖ is vector length. A zero determinant means C − λI has a nonzero vector in its null space. In practice, use a numerical decomposition such as eigh or SVD rather than manually solving a polynomial.

Projekce a první hlavní komponentaProjection and the first principal component

Zvolíme jednotkový směr u a každému centrovanému bodu přiřadíme jediné číslo zᵢ = (xᵢ − μ)ᵀu. První hlavní směr u₁ maximalizuje rozptyl těchto čísel.Choose a unit direction u and assign each centred point a single number zᵢ = (xᵢ − μ)ᵀu. The first principal direction u₁ maximizes the variance of these numbers.

Klikněte do horního grafu nebo otáčejte posuvníkem. Číselná stupnice projekce se nemění.Click the upper plot or rotate the slider. The projection scale stays fixed.

Vlastní vektor je směr. Vlastní číslo je rozptyl ve směru jednotkového vlastního vektoru. Skóre zᵢ je souřadnice konkrétního vzorku. Tato tři čísla mají různé role.An eigenvector is a direction. Its eigenvalue is the variance along that unit direction. A score zᵢ is the coordinate of one particular sample. These quantities have different roles.

Proč změna škály otočí PCA?Why does a change of scale rotate PCA?

×8 znamená násobení druhého příznaku osmi. Bod (2, 2) se změní na (2, 16). Nemění se počet bodů ani počet komponent.×8 multiplies the second feature by eight. Point (2, 2) becomes (2, 16). It changes neither the sample count nor the component count.

Osy uvádějí aktuální číselné jednotky. Při standardizaci jde o směrodatné odchylky.The axes show the current numerical units. After standardization the units are standard deviations.

C =

cov(x₁, 8x₂) = 8 cov(x₁, x₂), ale var(8x₂) = 64 var(x₂). Číselně větší rozptyl proto může převládnout. Standardizace používá zⱼ = (xⱼ − μⱼ)/sⱼ a dává nekonstantním sloupcům výběrový rozptyl 1.cov(x₁, 8x₂) = 8 cov(x₁, x₂), but var(8x₂) = 64 var(x₂). Numerically larger variance can therefore dominate. Standardization uses zⱼ = (xⱼ − μⱼ)/sⱼ and gives nonconstant columns sample variance 1.

Standardizace je volba modelu: může pomoci, ale také potlačit význam skutečné fyzikální škály. V této ukázce dělíme výběrovou s, tedy s dělitelem n − 1. Stejná transformace se potom použije na nová data.Standardization is a modelling choice: it may help, but may also discard meaningful physical scale. This example uses sample s, with divisor n − 1. Apply the same fitted transform to new data.

Co zůstane po redukci rozměru?What remains after dimensionality reduction?

PCA seřadí směry podle vlastních čísel λ₁ ≥ λ₂. Posuvníkem ponechte nula, jednu nebo obě komponenty. Sledujte současně spektrum, zachovaný rozptyl a chybu rekonstrukce.PCA orders directions by eigenvalue, λ₁ ≥ λ₂. Keep zero, one or both components with the slider. Compare the spectrum, retained variance and reconstruction error.

Původní bod: kroužekOriginal: ringRekonstrukce: plný bodReconstruction: filled dot
x̂ᵢ = μ + Σⱼ₌₁ᵏ zᵢⱼuⱼ
MSE = Σᵢ ‖xᵢ − x̂ᵢ‖² / (n d)

Zde n = 4 a d = 2. MSE průměruje chybu přes osm původních čísel. k = 0 vrací průměr; k = 2 obnoví tato data až na numerickou chybu. Rozptyl ani MSE nejsou přesností klasifikace.Here n = 4 and d = 2. MSE averages over the eight original numbers. k = 0 returns the mean; k = 2 reconstructs these data up to numerical error. Neither variance nor MSE is classification accuracy.

Pseudokód PCA a rekonstrukcePCA and reconstruction pseudocode
Vstup: trénovací matice X, n řádků a d příznaků; počet k
μ ← průměr sloupců X
Xᶜ ← X − μ
C ← transpozice(Xᶜ) · Xᶜ / (n − 1)
(λ, U) ← vlastní rozklad symetrické C
Seřaď sloupce U podle λ od největšího po nejmenší
Uₖ ← prvních k sloupců U
Nový vzorek x: z ← transpozice(Uₖ) · (x − μ)
Rekonstrukce: x̂ ← μ + Uₖ · z
Při k = 0 vrátí rekonstrukce pouze μ
Input: training matrix X, n rows and d features; count k
μ ← column means of X
Xᶜ ← X − μ
C ← transpose(Xᶜ) · Xᶜ / (n − 1)
(λ, U) ← symmetric eigendecomposition of C
Sort columns of U by descending λ
Uₖ ← the first k columns of U
For a new x: z ← transpose(Uₖ) · (x − μ)
Reconstruct: x̂ ← μ + Uₖ · z
For k = 0, reconstruction returns only μ

Každý sloupec U je jednotkový vlastní vektor. NumPy eigh vrací vlastní čísla vzestupně, proto pořadí pro PCA obracíme. Numerické knihovny mohou PCA počítat přímo SVD centrované X, bez sestavení C.Each column of U is a unit eigenvector. NumPy eigh returns ascending eigenvalues, so reverse the order for PCA. Numerical libraries may compute PCA directly using the SVD of centred X without constructing C.

PCA a obrázkyPCA and images

Jeden obrázek 8 × 8 je bod s 64 souřadnicemi: hodnotami pixelů. Složky PCA jsou nové souřadnice vytvořené z jejich vážených kombinací.One 8 × 8 image is a point with 64 coordinates: its pixel values. PCA components are new coordinates formed from weighted combinations of those values.

Vstup: původní obrázky z odložené částiInput: original images from the held-out split
0
1
2
3
4
5
6
7
8
9
Výstup: přibližné obrázky složené z průměru a prvních k složekOutput: approximate images built from the mean and the first k components
0
1
2
3
4
5
6
7
8
9
Zachovaný trénovací rozptylTraining variance retained: —MSE těchto obrázkůMSE of these images: —

Čísla 0–9 jsou skutečné třídy. Zde zkoušíme rekonstrukci, nikoli rozpoznávání. Rozptyl, MSE a čitelnost pro člověka jsou různá kritéria.Labels 0–9 are true classes. This is reconstruction, not digit recognition. Variance, MSE and human readability are different criteria.

PCA se naučilo na 1 437 trénovacích obrázcích. Příklady patří mezi 360 odložených obrázků. MSE v záložce Rekonstrukce používá 10 × 64 pixelů, před ořezáním hodnot pro zobrazení.PCA was fitted on 1,437 training images. Examples come from 360 held-out images. MSE in the Reconstruction tab uses 10 × 64 pixels, before display clipping.

Pseudokód: PCA: učení modeluPseudocode: PCA: fitting the model

Vstupem je pouze trénovací matice X s n řádky (objekty) a d sloupci (příznaky), n > 1. Model uloží průměr, hlavní směry a jejich rozptyly.Input is the training matrix X only, with n rows (objects) and d columns (features), n > 1. The model stores the mean, principal directions and their variances.

μ ← průměr řádků X
A ← od každého řádku X odečti μ
C ← Aᵀ A / (n − 1)
(λⱼ, uⱼ) ← vlastní dvojice symetrické matice C
Seřaď dvojice podle λ₁ ≥ λ₂ ≥ … ≥ λ_d
Každý uⱼ má délku 1, různé směry jsou kolmé
U ← matice se sloupci u₁, …, u_d
Pokud součet λ > 0:
  rⱼ ← λⱼ / součet všech λ
Jinak: podíly rozptylu nejsou definované
Vrať model (μ, U, λ, r)
μ ← mean of the rows of X
A ← subtract μ from each row of X
C ← Aᵀ A / (n − 1)
(λⱼ, uⱼ) ← eigenpairs of symmetric matrix C
Sort pairs so that λ₁ ≥ λ₂ ≥ … ≥ λ_d
Each uⱼ has length 1; different directions are orthogonal
U ← matrix with columns u₁, …, u_d
If the sum of λ is positive:
  rⱼ ← λⱼ / sum of all λ
Otherwise: variance fractions are undefined
Return model (μ, U, λ, r)

Toto je výklad přes kovarianci. U číslic jsme ekvivalentní model spočítali pomocí SVD centrované trénovací matice: pravé singulární vektory dávají směry a λⱼ = sⱼ² / (n − 1). Prohlížeč už tento model načítá hotový. Posuvník ho znovu neučí.This explanation uses covariance. For digits, we computed the equivalent model using the SVD of the centred training matrix: right singular vectors give the directions and λⱼ = sⱼ² / (n − 1). The browser loads that precomputed model. The slider does not fit it again.

scikit-learn

Vysvětlení: Co je složka u obrázkuExplanation: What a component means for an image

Obrázek 8 × 8 přečteme jako seznam 64 hodnot pixelů. Je tedy jedním bodem v 64rozměrném prostoru. PCA naučí nové kolmé směry. Každý směr lze znovu uspořádat do mřížky 8 × 8 a zobrazit jako vzor vah pro jednotlivé pixely.Read an 8 × 8 image as a list of 64 pixel values. It is one point in a 64-dimensional space. PCA learns new perpendicular directions. We can reshape each direction into an 8 × 8 grid to display its pattern of pixel weights.

Složka tak může ovlivnit kterýkoli pixel. Počet k říká, kolik prvních nových souřadnic pro každý obrázek ponecháme. Koeficient zⱼ říká, kolik j-tého vzoru u daného obrázku přidat nebo odečíst. Přibližný obrázek skládáme z průměrného obrázku a těchto vážených vzorů. Průměr μ počítáme ze všech trénovacích obrázků společně, bez rozdělení podle tříd.A component can affect any pixel. The number k tells us how many leading new coordinates we keep per image. Score zⱼ says how much of pattern j to add or subtract for that image. We reconstruct an approximation from the mean image and these weighted patterns. Mean μ comes from all training images together, without grouping them by class.

Při k = 0 ukazují všechny rekonstrukce stejný trénovací průměr. Při k = 1 používají stále všech 64 pixelových pozic, ale liší se jen jedním koeficientem. Při k = 64 obnovíme původní hodnoty až na numerické zaokrouhlení. Čísla 0–9 pod obrázky jsou skutečné třídy, nikoli výstup klasifikátoru.At k = 0, every reconstruction is the same training mean. At k = 1, all 64 pixel positions still exist, but images differ through only one score. At k = 64, reconstruction recovers the original values up to numerical rounding. Labels 0–9 below images are true classes, not classifier outputs.

Zachovaný rozptyl vychází z trénovacích dat. MSE (Mean Squared Error, průměrná kvadratická chyba) průměruje čtverce rozdílů pixelů deseti zobrazených odložených obrázků. Čitelnost posuzuje člověk. Tato tři kritéria měří různé věci. MSE zde používá hodnoty pixelů 0 až 16 a počítá se před ořezáním pro zobrazení.Retained variance comes from training data. MSE (mean squared error) averages squared pixel differences for the ten displayed held-out images. Readability is a human judgement. These three criteria measure different things. MSE here uses pixel values from 0 to 16 and is computed before display clipping.

Vlastní číslo λⱼ je rozptyl koeficientů zⱼ napříč trénovacími obrázky. Procento pod jedním vzorem v galerii je jeho podíl na celkovém trénovacím rozptylu. Zachovaný rozptyl k složek získáme součtem prvních k takových podílů.Eigenvalue λⱼ is the variance of scores zⱼ across training images. The percentage below one gallery pattern is its share of total training variance. The retained variance of k components is the sum of the first k shares.

Kolik složek ponechat?How many components?

Posuvník propojuje oba grafy s rekonstrukcí stejného obrázku. Ponecháváme prvních k složek, seřazených podle trénovacího rozptylu.One slider links both plots to the reconstruction of the same image. We keep the first k components, ordered by training variance.

AlespoňAt least:
Vlastní čísla λⱼ: rozptyl jednotlivých složekEigenvalues λⱼ: variance of individual components
Vlastní čísla λⱼ: rozptyl jednotlivých složekEigenvalues λⱼ: variance of individual components
Kumulativní podíl: součet prvních k složekCumulative fraction: sum of the first k components
Kumulativní podíl: součet prvních k složekCumulative fraction: sum of the first k components
ponechané složkyretained componentsvynechané složkyomitted components
OriginálOriginal
RekonstrukceReconstruction
k =

Zachovaný trénovací rozptylTraining variance retained

MSE vybraného obrázkuSelected-image MSE

Zelený bod v dolním grafu ukazuje součet podílů prvních k složek. MSE vpravo porovnává 64 pixelů právě vybraného obrázku.The green point in the lower plot shows the total fraction for the first k components. MSE on the right compares the 64 pixels of the selected image.

Model: 1 437 trénovacích obrázků. Ukázkové obrázky jsou odložené. Změna obrázku nemění vlastní čísla. Pro klasifikaci vybírejte k na validaci, ne podle závěrečného testu.Model: 1,437 training images. Example images are held out. Changing the image leaves the eigenvalues unchanged. For classification, choose k using validation, not the final test.

Číselné hodnoty grafůNumerical plot values
jλⱼPodíl složkyComponent fractionKumulativněCumulativeStavStatus
Pseudokód: PCA: počet složek a rekonstrukcePseudocode: PCA: component count and reconstruction

Vstupem je naučený model, jeden odložený obrázek x s d = 64 pixely a počet k od 0 do 64. Symbol zⱼ označuje souřadnici obrázku v j-tém naučeném směru.Input is a fitted model, one held-out image x with d = 64 pixels, and k from 0 to 64. Symbol zⱼ denotes the image coordinate along learned direction j.

Při změně posuvníku nebo obrázku:
  x̂ ← μ
  Pro j od 1 do k:
    zⱼ ← uⱼᵀ (x − μ)
    x̂ ← x̂ + zⱼ uⱼ
  zachovaný_podíl ← součet r₁, …, r_k
  MSE ← součet (x_pixel − x̂_pixel)² / d
  V horním grafu zvýrazni prvních k sloupců
  V dolním grafu označ (k, zachovaný_podíl)
  Zobraz x̂ jako mřížku 8 × 8
  Pouze pro zobrazení omez hodnoty na 0 až 16
When the slider or selected image changes:
  x̂ ← μ
  For j from 1 to k:
    zⱼ ← uⱼᵀ (x − μ)
    x̂ ← x̂ + zⱼ uⱼ
  retained_fraction ← sum of r₁, …, r_k
  MSE ← sum of (x_pixel − x̂_pixel)² / d
  Highlight the first k bars in the upper plot
  Mark (k, retained_fraction) in the lower plot
  Display x̂ as an 8 × 8 grid
  Limit values to 0 through 16 for display only

Při k = 0 je součet prázdný a rekonstrukce se rovná průměru. Tlačítka 90 %, 95 % a 99 % hledají nejmenší k, jehož kumulativní podíl dosáhne alespoň daného prahu. MSE se počítá před ořezáním zobrazení. Rozptyl patří trénovací sadě, MSE právě vybranému obrázku.At k = 0, the sum is empty and reconstruction equals the mean. The 90%, 95% and 99% buttons find the smallest k whose cumulative fraction reaches at least the requested threshold. MSE is computed before display clipping. Variance describes the training set; MSE describes the selected image.

scikit-learn

Vysvětlení: Jak vybrat počet složekExplanation: How to choose the component count

Horní graf ukazuje všech 64 vlastních čísel v sestupném pořadí. Výška sloupce λⱼ je rozptyl trénovacích souřadnic v j-tém směru. Zelené sloupce ponecháváme, šedé vynecháváme. Osa a měřítko grafu se při změně k nemění.The upper plot shows all 64 eigenvalues in decreasing order. Bar height λⱼ is the variance of training coordinates along direction j. We retain green bars and omit grey bars. Plot axes and scale stay fixed when k changes.

Dolní graf má na vodorovné ose počet k. Svislá hodnota je součet prvních k vlastních čísel vydělený součtem všech 64. Proto k = 0 znamená 0 % a k = 64 celý trénovací rozptyl. Tlačítka prahů najdou nejmenší k, které zachová alespoň daný podíl.The lower plot uses component count k on the horizontal axis. Its vertical value is the sum of the first k eigenvalues divided by the sum of all 64. Thus k = 0 gives 0% and k = 64 gives all training variance. Threshold buttons find the smallest k retaining at least the requested fraction.

Vpravo sledujeme jeden obrázek z odložené části. Změna obrázku změní jeho souřadnice, rekonstrukci a MSE, ale vlastní čísla i kumulativní graf zůstanou stejné. PCA už bylo naučené na 1 437 jiných obrázcích. MSE používá skutečné rekonstruované hodnoty, před jejich ořezáním pro zobrazení.On the right we inspect one held-out image. Changing the image changes its coordinates, reconstruction and MSE, but leaves the eigenvalues and cumulative plot unchanged. PCA was fitted on 1,437 other images. MSE uses the actual reconstructed values, before display clipping.

Malé k zmenší počet souřadnic každého obrázku, společný průměr a směry však musíme uchovat také. Podíl rozptylu ani čitelnější obrázek sám neurčuje úspěšnost klasifikátoru. Klasifikační model a počet složek vybíráme pomocí validace, závěrečný test ponecháváme stranou.A small k reduces coordinates stored per image, but we must also retain the shared mean and directions. Neither retained variance nor a more readable image alone determines classifier accuracy. Choose the classifier and component count using validation, reserving the final test.

Model a definiceModel and definitions: PCA · scikit-learn. ObrázkyImages: load_digits. Data grafů (CSV)Plot data (CSV).

Kdy větší variance nepomůžeWhen higher variance does not help

  • Kruhový mrak: mnoho směrů může být stejně dobrých.A circular cloud can have many equally good directions.
  • Odlehlý bod: může změnit nejlepší směr.An outlier can change the best direction.
  • Dvě třídy: důležitá informace může být v málo proměnném směru.Two classes can differ mainly along a low-variance direction.

Vraťte se k mraku a odhadněte výsledek před stisknutím „Ukázat maximum“.Return to the cloud and predict the result before choosing “Show maximum”.

Vysvětlení: Co maximum rozptylu nezaručujeExplanation: What maximum variance does not guarantee

U kruhového mraku jsou všechny směry stejně proměnlivé, takže neexistuje jediná nejlepší osa. Odlehlý bod může do rozptylu přispět velkou hodnotou a hlavní směr vychýlit. Rozptyl počítá se čtverci vzdáleností od průměru.In a circular cloud, all directions have the same variation, so there is no unique best axis. An outlier can contribute a large amount of variance and change the principal direction. Variance uses squared distances from the mean.

V ukázce dvou tříd může velký vodorovný rozptyl překrýt malé, ale důležité svislé oddělení tříd. PCA při hledání osy třídní štítky nepoužívá. Zachování rozptylu proto samo nezaručuje dobrou klasifikaci.In the two-class example, large horizontal variation can dominate a small but important vertical class separation. PCA does not use class labels to choose its axis. Preserving variance alone therefore does not guarantee good classification.

Pojmy, které se snadno pletouTerms that are easy to confuse

PříznakFeature
Jedno měření objektu, tedy sloupec X.One measurement of an object: a column of X.
ŠtítekLabel
Známá cílová třída y. Při klasifikaci ji chceme předpovědět.A known target class y, which classification aims to predict.
Vlastní vektorEigenvector
Nenulový vektor v splňující Av = λv.A nonzero vector v satisfying Av = λv.
Vlastní čísloEigenvalue
Násobek λ v této rovnici. U C je to rozptyl v příslušném jednotkovém směru.The multiplier λ in this equation. For C, it is variance along the corresponding unit direction.
Skóre PCAPCA score
Souřadnice jednoho centrovaného vzorku ve vlastním směru.A centred sample's coordinate along an eigenvector.
HyperparametrHyperparameter
Volba postupu, například počet ponechaných komponent. Vybíráme ji validací.A modelling choice, such as the retained component count, selected using validation.
Klasifikace / shlukováníClassification / clustering
Klasifikace používá známé trénovací štítky. Shlukování vytváří skupiny podle zvolené reprezentace a podobnosti bez těchto štítků.Classification uses known training labels. Clustering forms groups from a representation and similarity rule without those labels.

Když x₂ násobíme osmi, co se stane s var(x₂)?If x₂ is multiplied by eight, what happens to var(x₂)?

Zaručuje vysoký zachovaný rozptyl dobrou klasifikaci?Does high retained variance guarantee good classification?

Kde se učí průměr a vlastní směry PCA pro hodnocení klasifikátoru?Where are the PCA mean and directions fitted when evaluating a classifier?

Samostatný pokusYour experiment

Stačí krátký zápis: nastavení → předpověď → pozorování → vysvětlení. Výsledek jednoho obrázku není důkazem, že metoda funguje obecně.Use a short record: setting → prediction → observation → explanation. One picture does not establish general performance.

Kontrolní výsledekCheck your answer

Po změně D je μ = (2,5; 1,5), C = diag(5/3; 1/3). Kovariance je 0 a PC1 je první souřadnicová osa.After changing D, μ = (2.5; 1.5) and C = diag(5/3; 1/3). Covariance is 0 and PC1 is the first coordinate axis.

Zdroje a další cvičeníSources and further exercises

Číselné příklady a grafy v této sadě vznikají přímo z uvedených syntetických bodů. Základní definice a numerické postupy můžete porovnat s těmito zdroji:The numerical examples and plots in this lab are computed directly from the stated synthetic points. Compare the definitions and numerical procedures with these sources:

Původní videa jsou inspirací k vlastním výukovým ukázkám. Odkazy zůstávají zde; nejsou potřeba pro běh cvičení.The original videos inspired the teaching examples. Their links are kept here; the tutorials do not need them to run.