Geometrie datThe geometry of data

Představte si kruh kolem vybraného bodu. Jeho poloměr je ε. Pokud kruh obsahuje alespoň min_samples bodů včetně vybraného bodu, tento bod je jádrový. Z jádrového bodu se můžeme přes další jádrové body dostat i do zakřiveného shluku.Imagine a circle around a selected point. Its radius is ε. If it contains at least min_samples points, including the selected point, that point is a core point. Connecting core points allows a cluster to follow a curved shape.

Okrajový bod je blízko jádrového bodu, ale sám nemá dost sousedů. Do shluku se připojí, jeho prostřednictvím však růst nepokračuje. Body, ke kterým se takto žádný shluk nedostane, zůstanou šumem.A border point lies near a core point but has too few neighbours of its own. It joins a cluster without carrying expansion further. Points that no cluster reaches remain noise.

První krok dovoluje vybrat ukázkový jádrový, okrajový či šumový bod. Druhý krok prochází jádrové body prvního shluku v pořadí skutečného výpočtu. Posuvník říká, kolik jader už jsme zpracovali. Šedé body v tomto kroku ještě neoznačujeme za šum. Teprve třetí krok ukazuje výsledek celého DBSCAN.Step one lets you inspect an example core, border or noise point. Step two visits the first cluster’s core points in the actual computation order. Its slider counts processed cores. Grey points at this stage are not yet classified as noise. Step three shows the complete DBSCAN result.

ε určuje, jak daleko od sebe ještě body považujeme za sousedy. min_samples určuje potřebný počet bodů v tomto okolí. Počet shluků zadávat nemusíme. Při větším ε se shluky mohou spojit, při příliš malém ε může mnoho bodů zůstat šumem.ε sets the maximum distance for neighbours. min_samples sets the required count in that neighbourhood. We do not supply a cluster count. A larger ε can merge clusters. A very small ε can leave many points as noise.

Plný bod je jádrový, prázdný kroužek okrajový a křížek je šum. Zde jsou barvy výsledkem shlukování. Šum automaticky neznamená chybné měření ani špatnou odpověď. Záleží na účelu analýzy.A filled point is core, a hollow circle is border, and a cross is noise. Here colours are clustering results. Noise does not automatically mean a measurement error or a wrong answer. Its meaning depends on the analysis.

Barva bodu zde označuje známou skutečnou třídu. Křížek označuje chybu právě nastavené hranice. To se liší od DBSCAN, kde barva označovala nalezený shluk a křížek šum.Here a point colour marks its known true class. A cross marks an error made by the current boundary. This differs from DBSCAN, where colour marked a discovered cluster and a cross marked noise.

Ve druhé záložce přidáváme číslo popisující druhou mocninu vzdálenosti od zvoleného středu. Tím se body zvednou do 3D. Výška roviny určuje stejné rozdělení jako kružnice vlevo. Posun středu mění nový příznak. Otáčení kamery mění pouze pohled.The second tab adds a number: squared distance from a chosen centre. This lifts the points into 3D. Plane height defines the same classification as the circle on the left. Moving the centre changes the new feature. Rotating the camera only changes the view.

Hranici v této ukázce řídíte ručně. SVM by ji hledalo optimalizací. Samotné zvednutí bodů nevysvětluje celý algoritmus SVM ani obecný RBF kernel.You control the boundary manually here. An SVM would find a boundary through optimization. Lifting points alone does not explain the whole SVM algorithm or a general RBF kernel.

PCA znamená analýzu hlavních komponent. Zde chceme dvě souřadnice bodu nahradit jedinou. Zvolíme osu a každý bod na ni kolmo promítneme, podobně jako kdyby na osu vrhal stín. Uložíme už jen jeho polohu podél osy.PCA stands for principal component analysis. Here we want to replace two coordinates with one. Choose an axis and project each point onto it at a right angle, as if the point cast a shadow onto the axis. We store its position along that axis.

Vhodná osa zachová velkou část původního rozptylu bodů. Kolmou vzdálenost od osy zahodíme. PCA nezkoumá, kterou číslici nebo třídu bod představuje. Hledá směr podle proměnlivosti dat.A useful axis retains much of the original spread. We discard the perpendicular distance from the axis. PCA does not inspect which digit or class a point represents. It chooses a direction using variation in the data.

Horní graf ukazuje původní body a jejich kolmé projekce na oranžovou osu. Spodní graf rozbalí souřadnice projekcí na vodorovnou stupnici. Malé svislé rozestupy spodních teček slouží jen čitelnosti, žádný další příznak neznamenají.The upper plot shows original points and their perpendicular projections onto the orange axis. The lower plot lays the projection coordinates out on a horizontal scale. Small vertical offsets between lower dots only improve visibility. They do not encode another feature.

Variance měří rozptyl souřadnic podél zvolené osy. Procento vedle ní porovnává tento rozptyl s celkovým rozptylem obou původních příznaků. Nejprve zkuste maximum najít ručně. Pak odkryjte vlastní vektory a porovnejte svůj směr s u₁.Variance measures the spread of coordinates along your chosen axis. The percentage compares it with the total variance of both original features. First search for the maximum manually. Then reveal the eigenvectors and compare your direction with u₁.

Při otočení osy o 180° se znaménka souřadnic obrátí, ale jejich rozptyl zůstane stejný.Turning the axis by 180° reverses the coordinate signs while leaving their variance unchanged.

Vlevo zvolený směr ponechá projekce blízko sebe. Prostřední směr je více roztáhne. Vpravo osa sleduje dlouhý směr mraku a ponechá v tomto příkladu nejvíc rozptylu. Body se neučí ani nepřesouvají do nových tříd. Mění se způsob, jak ze dvou souřadnic ponechat jednu.The left direction keeps projections close together. The middle direction spreads them further apart. On the right, the axis follows the long direction of the cloud and retains the most variance in this example. Points are not learning or moving into new classes. We are changing how we keep one coordinate from two.

Dva původně různé body mohou po projekci skončit na stejné pozici, pokud se lišily pouze v kolmém směru. Z jediné uložené souřadnice jejich původní polohu přesně neobnovíme. Vlevo používáme druhý hlavní směr, uprostřed osu otočenou o 45° od prvního hlavního směru a vpravo první hlavní směr. Všechny hodnoty počítáme ze stejných 480 bodů jako v klikátku. Tlačítko pod grafem přenese jeho osu do hlavní ukázky.Two different original points can project to the same position if they differed only in the perpendicular direction. Their one stored coordinate cannot recover the original positions exactly. The left plot uses PC2. The middle axis is 45° from PC1. The right plot uses PC1. All values use the same 480 points as the main interactive example. The button below a plot opens its axis in that example.

U kruhového mraku jsou všechny směry stejně proměnlivé, takže neexistuje jediná nejlepší osa. Odlehlý bod může do rozptylu přispět velkou hodnotou a hlavní směr vychýlit. Rozptyl počítá se čtverci vzdáleností od průměru.In a circular cloud, all directions have the same variation, so there is no unique best axis. An outlier can contribute a large amount of variance and change the principal direction. Variance uses squared distances from the mean.

V ukázce dvou tříd může velký vodorovný rozptyl překrýt malé, ale důležité svislé oddělení tříd. PCA při hledání osy třídní štítky nepoužívá. Zachování rozptylu proto samo nezaručuje dobrou klasifikaci.In the two-class example, large horizontal variation can dominate a small but important vertical class separation. PCA does not use class labels to choose its axis. Preserving variance alone therefore does not guarantee good classification.

Přepínač ×8 násobí každou hodnotu druhého příznaku osmi, například bod (2, 3) nahradí bodem (2, 24). Představuje změnu jednotek jednoho měření. První příznak a počet bodů ponecháváme stejné.The ×8 toggle multiplies every value of the second feature by eight, for example replacing point (2, 3) with (2, 24). It represents a change of units for one measurement. The first feature and point count stay the same.

Kovarianci spočteme jako součet součinů odchylek obou příznaků od jejich průměrů, vydělený n − 1. Je kladná, když se odchylky často pohybují stejným směrem, a záporná, když mají často opačná znaménka. Kovariance příznaku se sebou samým je rozptyl. Nulová kovariance sama nezaručuje nezávislost. Na slidu lze rozbalit úplný výpočet na čtyřech bodech.Covariance is the sum of products of both features’ deviations from their means, divided by n − 1. It is positive when deviations often move together, and negative when they often have opposite signs. A feature’s covariance with itself is variance. Zero covariance alone does not guarantee independence. Expand the slide’s four-point example for the full calculation.

Centrování odečítá průměr každého příznaku. Tím zvolíme nový počátek souřadnic. PCA pak hledá směry proměnlivosti kolem průměru. Samotné odečtení průměru kovarianci ani hlavní směry nemění.Centring subtracts each feature mean. This chooses a new coordinate origin. PCA then describes variation around the mean. Subtracting the mean alone does not change covariance or principal directions.

Vynásobením druhého příznaku osmi zvětšíme jeho rozptyl 64krát. Tím může převážit v hledání hlavní osy. Standardizace nejprve odečte průměr a potom vydělí směrodatnou odchylkou. Zde tak každý příznak dostane výběrový rozptyl 1. Je to změna měřítka, ne přidání nových dat.Multiplying feature two by eight multiplies its variance by 64. It can then dominate the principal direction. Standardization subtracts the mean and divides by the standard deviation. Here each feature gets sample variance 1. This rescales existing observations. It does not add observations.

xᵢ jsou dvě souřadnice i-tého bodu, μ je průměr všech bodů a u je jednotkový směr osy. Výraz uᵀ(xᵢ − μ) je skalární součin. Vrátí jediné číslo zᵢ: polohu bodu na ose měřenou od průměru.xᵢ contains the two coordinates of point i, μ is the mean of all points, and u is a unit direction. The expression uᵀ(xᵢ − μ) is a dot product. It returns one number zᵢ: the point position along the axis, measured from the mean.

Součet čtverců zᵢ vydělíme n − 1, kde n je počet bodů. Dostaneme výběrovou varianci V(u), tedy číslo z klikátka. Podmínka ‖u‖ = 1 zajišťuje, že porovnáváme směry ve stejném měřítku. Delší vektor by souřadnice uměle násobil.We sum the squared zᵢ values and divide by n − 1, where n is the point count. This gives sample variance V(u), the value in the interactive plot. Requiring ‖u‖ = 1 compares directions at the same scale. A longer vector would multiply the coordinates artificially.

Krokovaný výpočet začíná průměrem a odchylkami, pokračuje konkrétní kovarianční maticí a jejími vlastními čísly. V dalším kroku z rovnice (C − λ₁I)v = 0 získáme směr a vydělíme ho jeho délkou. Nakonec ověříme Cu₁ = λ₁u₁. Nabídka umožňuje použít aktuálních 480 bodů nebo jednoduchý soubor (1,1), (2,2), (3,2), (4,3).The step-by-step calculation begins with the mean and deviations, then computes the covariance matrix and eigenvalues. Next, (C − λ₁I)v = 0 gives a direction, which we divide by its length. Finally, verify Cu₁ = λ₁u₁. Select either the current 480 points or the simple set (1,1), (2,2), (3,2), (4,3).

Na diagonále kovarianční matice C jsou rozptyly obou příznaků. Mimodiagonální hodnota popisuje, jak se jejich odchylky od průměru mění společně. Z této matice vypočteme hlavní směry.The diagonal of covariance matrix C contains the variances of the two features. The off-diagonal value describes how their deviations from the mean vary together. We use this matrix to compute the principal directions.

Jednotkový vlastní vektor u₁ určuje první hlavní směr. Vlastní číslo λ₁ je variance projekcí všech bodů do tohoto směru. u₂ určuje kolmý druhý směr a λ₂ jeho varianci. Jde o stejné složky, které později použijeme u obrázků, jen zde máme dvě původní souřadnice místo 64.Unit eigenvector u₁ gives the first principal direction. Eigenvalue λ₁ is the variance of all point projections along it. u₂ gives the perpendicular second direction, and λ₂ gives its variance. These are the same kind of components used later for images. Here we start with two coordinates instead of 64.

Koeficient zᵢ popisuje jeden bod. Vlastní číslo λ popisuje proměnlivost projekcí celého souboru bodů. Při λ₁ = λ₂ je více rovnocenných voleb hlavních os.A score zᵢ describes one point. An eigenvalue λ describes variation in projections across the dataset. When λ₁ = λ₂, several choices of principal axes are equally valid.

Obrázek 8 × 8 přečteme jako seznam 64 hodnot pixelů. Je tedy jedním bodem v 64rozměrném prostoru. PCA naučí nové kolmé směry. Každý směr lze znovu uspořádat do mřížky 8 × 8 a zobrazit jako vzor vah pro jednotlivé pixely.Read an 8 × 8 image as a list of 64 pixel values. It is one point in a 64-dimensional space. PCA learns new perpendicular directions. We can reshape each direction into an 8 × 8 grid to display its pattern of pixel weights.

Složka tak může ovlivnit kterýkoli pixel. Počet k říká, kolik prvních nových souřadnic pro každý obrázek ponecháme. Koeficient zⱼ říká, kolik j-tého vzoru u daného obrázku přidat nebo odečíst. Přibližný obrázek skládáme z průměrného obrázku a těchto vážených vzorů. Průměr μ počítáme ze všech trénovacích obrázků společně, bez rozdělení podle tříd.A component can affect any pixel. The number k tells us how many leading new coordinates we keep per image. Score zⱼ says how much of pattern j to add or subtract for that image. We reconstruct an approximation from the mean image and these weighted patterns. Mean μ comes from all training images together, without grouping them by class.

Při k = 0 ukazují všechny rekonstrukce stejný trénovací průměr. Při k = 1 používají stále všech 64 pixelových pozic, ale liší se jen jedním koeficientem. Při k = 64 obnovíme původní hodnoty až na numerické zaokrouhlení. Čísla 0–9 pod obrázky jsou skutečné třídy, nikoli výstup klasifikátoru.At k = 0, every reconstruction is the same training mean. At k = 1, all 64 pixel positions still exist, but images differ through only one score. At k = 64, reconstruction recovers the original values up to numerical rounding. Labels 0–9 below images are true classes, not classifier outputs.

Zachovaný rozptyl vychází z trénovacích dat. MSE (Mean Squared Error, průměrná kvadratická chyba) průměruje čtverce rozdílů pixelů deseti zobrazených odložených obrázků. Čitelnost posuzuje člověk. Tato tři kritéria měří různé věci. MSE zde používá hodnoty pixelů 0 až 16 a počítá se před ořezáním pro zobrazení.Retained variance comes from training data. MSE (mean squared error) averages squared pixel differences for the ten displayed held-out images. Readability is a human judgement. These three criteria measure different things. MSE here uses pixel values from 0 to 16 and is computed before display clipping.

Vlastní číslo λⱼ je rozptyl koeficientů zⱼ napříč trénovacími obrázky. Procento pod jedním vzorem v galerii je jeho podíl na celkovém trénovacím rozptylu. Zachovaný rozptyl k složek získáme součtem prvních k takových podílů.Eigenvalue λⱼ is the variance of scores zⱼ across training images. The percentage below one gallery pattern is its share of total training variance. The retained variance of k components is the sum of the first k shares.

Horní graf ukazuje všech 64 vlastních čísel v sestupném pořadí. Výška sloupce λⱼ je rozptyl trénovacích souřadnic v j-tém směru. Zelené sloupce ponecháváme, šedé vynecháváme. Osa a měřítko grafu se při změně k nemění.The upper plot shows all 64 eigenvalues in decreasing order. Bar height λⱼ is the variance of training coordinates along direction j. We retain green bars and omit grey bars. Plot axes and scale stay fixed when k changes.

Dolní graf má na vodorovné ose počet k. Svislá hodnota je součet prvních k vlastních čísel vydělený součtem všech 64. Proto k = 0 znamená 0 % a k = 64 celý trénovací rozptyl. Tlačítka prahů najdou nejmenší k, které zachová alespoň daný podíl.The lower plot uses component count k on the horizontal axis. Its vertical value is the sum of the first k eigenvalues divided by the sum of all 64. Thus k = 0 gives 0% and k = 64 gives all training variance. Threshold buttons find the smallest k retaining at least the requested fraction.

Vpravo sledujeme jeden obrázek z odložené části. Změna obrázku změní jeho souřadnice, rekonstrukci a MSE, ale vlastní čísla i kumulativní graf zůstanou stejné. PCA už bylo naučené na 1 437 jiných obrázcích. MSE používá skutečné rekonstruované hodnoty, před jejich ořezáním pro zobrazení.On the right we inspect one held-out image. Changing the image changes its coordinates, reconstruction and MSE, but leaves the eigenvalues and cumulative plot unchanged. PCA was fitted on 1,437 other images. MSE uses the actual reconstructed values, before display clipping.

Malé k zmenší počet souřadnic každého obrázku, společný průměr a směry však musíme uchovat také. Podíl rozptylu ani čitelnější obrázek sám neurčuje úspěšnost klasifikátoru. Klasifikační model a počet složek vybíráme pomocí validace, závěrečný test ponecháváme stranou.A small k reduces coordinates stored per image, but we must also retain the shared mean and directions. Neither retained variance nor a more readable image alone determines classifier accuracy. Choose the classifier and component count using validation, reserving the final test.

fit_transform na trénovacích datech najde průměr a hlavní směry a zároveň spočítá nové souřadnice. transform použije již nalezený průměr a směry na další data. inverse_transform z nových souřadnic vytvoří přibližný obrázek nebo původní příznaky.fit_transform learns the mean and principal directions from training data and computes new coordinates. transform applies that existing mean and those directions to other data. inverse_transform reconstructs approximate images or original features from the new coordinates.

Hodnota n_components = 0.95 znamená zvolit tolik prvních složek, aby kumulativní podíl trénovacího rozptylu překročil 95 %. Nezadáváme tím 95 složek. PCA i případné škálování patří do trénovací části validačního postupu, jinak mohou do volby reprezentace proniknout informace z testu.n_components = 0.95 selects enough leading components for cumulative training variance to exceed 95%. It does not request 95 components. PCA and any scaling belong inside the training part of the validation procedure. Otherwise test information can influence the representation.

Pipeline spojí například škálování, PCA a klasifikátor do jednoho postupu. Při křížové validaci (cross-validation) tento postup pokaždé naučíme jen na trénovací části a ověříme na validační části. Závěrečný test necháváme stranou až do finálního vyhodnocení.A pipeline combines steps such as scaling, PCA and a classifier. Cross-validation repeatedly fits that procedure on a training part and evaluates it on a validation part. We reserve the final test data for the final evaluation.

Zapište nastavení, pozorování a jeho vysvětlení. Například u PCA uveďte úhel a varianci před odkrytím maxima a po něm. U DBSCAN změňte nejprve jeden parametr, aby bylo zřejmé, co způsobilo rozdíl.Record the settings, the observation and an explanation. For PCA, report your angle and variance before and after revealing the maximum. For DBSCAN, change one parameter at a time so that the cause of a difference is clear.

U číslic můžete vytvořit tabulku k, zachovaný rozptyl, MSE a vlastní úsudek o čitelnosti. Vysvětlete také, proč žádné z těchto čísel samo není úspěšností klasifikace. Pracovní list uchová odpovědi jen v tomto prohlížeči, proto je na konci exportujte.For digits, make a table of k, retained variance, MSE and your judgement of readability. Explain why none of these values alone is classification accuracy. The worksheet keeps answers only in this browser, so export them at the end.

K-means začíná k zvolenými středy. Jeden krok přiřadí každý bod k nejbližšímu středu. Další krok přesune každý střed do průměru jeho skupiny. Tím klesá nebo zůstává stejný součet čtverců vzdáleností SSE. Výsledek může záviset na počátečních středech.K-means starts with k selected centres. One step assigns every point to its nearest centre. The next moves each centre to its group mean. This decreases or preserves the sum of squared distances, SSE. The result can depend on initial centres.

DBSCAN na stejných bodech používá ε-okolí a min_samples = 6. Počet shluků předem nevolíme. Tvar zakřivených hustých oblastí může zachovat lépe než dělení podle nejbližších středů. Výsledek posuzujte vzhledem k účelu, metrice a parametrům. Barvy samy neříkají, zda je shluk správně.On the same points, DBSCAN uses ε-neighbourhoods and min_samples = 6. We do not choose a cluster count in advance. It can preserve curved dense regions better than nearest-centre partitions. Judge the result against the task, distance measure and parameters. Colours alone do not establish a correct clustering.

Na rozdíl od ruční geometrie na slidu 4 zde používáme skutečné modely SVC. Jsou naučené pouze na trénovacích bodech. Ovládání přepíná 32 předpočítaných kombinací datasetu, kernelu, C a γ. Kroužky zvýrazňují skutečné podpůrné vektory vrácené modelem.Unlike the manual geometry on slide 4, this example uses real SVC models. They are fitted on training points only. Controls select among 32 precomputed combinations of dataset, kernel, C and γ. Rings highlight the actual support vectors returned by the model.

Rozhodovací funkce f(x) určuje třídu podle znaménka. Hranice je f(x) = 0. U lineárního modelu jsou f(x) = ±1 dvě rovnoběžné přímky a jejich vzdálenost je 2/‖w‖. U RBF jsou zobrazené křivky pouze úrovně rozhodovací funkce; v původní rovině nemají konstantní šířku marginu.Decision function f(x) determines the class by its sign. The boundary is f(x) = 0. For a linear model, f(x) = ±1 are parallel lines with separation 2/‖w‖. For RBF, the displayed curves are decision-function levels; they do not have constant geometric margin width in the original plane.

Vyšší C více penalizuje chyby na tréninku. Vyšší γ u RBF zmenšuje oblast vlivu jednotlivých bodů. Prstenec obsahuje osm záměrně změněných trénovacích štítků. Odložená část vznikla nezávisle a do učení nevstupuje. Chyby na tréninku a na odložených bodech proto mohou reagovat různě.Larger C penalizes training errors more heavily. Larger RBF γ makes individual points influence a smaller region. The ring dataset includes eight deliberately changed training labels. The held-out part was generated independently and does not enter fitting. Training and held-out errors can therefore change differently.

PCA používá rozptyl všech bodů bez ohledu na třídní štítky. V tomto mraku převládá vodorovný rozptyl uvnitř obou tříd. První složka PCA proto může v projekci smíchat dvě svisle oddělené třídy.PCA uses variation across all points without class labels. In this cloud, horizontal variation within both classes dominates. The first principal component can therefore mix two vertically separated classes in projection.

Pro dvě třídy LDA používá směr úměrný S_w⁻¹(μ₁ − μ₀), kde S_w je společná vnitrotřídní kovarianční matice. Zde ji počítáme z odchylek bodů od průměru jejich vlastní třídy a dělíme n − 2. Směr potom normalizujeme na délku 1. Jde o učící příklad rozdílného cíle, nikoli důkaz, že LDA je vždy lepší.For two classes, LDA uses a direction proportional to S_w⁻¹(μ₁ − μ₀), where S_w is the pooled within-class covariance matrix. Here we calculate deviations from each point’s own class mean and divide by n − 2. We then normalize the direction to unit length. This illustrates different objectives, not a claim that LDA is always better.

Původní videa Andrewa Tanga (@ml.swe) najdete v odkazech pod souvisejícími slidy a v seznamu zdrojů. V samotném výkladu používáme vlastní programy a samostatně vytvořené body. Výsledky počítáme z těchto bodů, nikoli z čísel v původních videích. Veškeré ukázky fungují bez připojení.Find Andrew Tang’s (@ml.swe) original videos in the links below the related slides and in the source list. The explanations themselves use our own programs and independently generated points. Results are calculated from these points, not taken from numbers in the source videos. All examples work offline.

Číslice jsou ze skutečné sady load_digits. Hlavní směry jsme naučili na 1 437 trénovacích obrázcích. Z 360 odložených obrázků zde zobrazujeme deset příkladů. Tyto příklady do učení PCA nevstupují. V metodice jsou uvedené zdroje a přesný rozsah výpočtů.Digits come from the real load_digits dataset. We fitted the principal directions on 1,437 training images. We display ten examples from 360 held-out images. Those examples do not enter PCA fitting. Teacher notes document the sources and the scope of the calculations.