• Mål: Att beskriva och visualisera data

• Detta görs ofta genom att titta på:

• Samspel mellan variabler

• Grupper av "liknande" observationer

Exempel: Finans, Biologi, Epidemiologi, Ekologi, …

head(mtcars, n = 5) %>% knitr::kable()

\(X\) matris med \(d\) variabler i kolumner och \(n\) observationer på rader. Antag centrerad. Singulärvärdesuppdelning (SVD) av \(X\)

\[ X = UD V^T \]

• \(U \text{ dim. } n\times p\) har ortonormala kolumner
• \(D := \operatorname{diag}(d_1,\ldots, d_p),\: d_1\geq \ldots \geq d_p\geq 0\)
• \(V \text{ dim. } p\times p\) är en ortogonal matris

\[ \begin{align*} X & = UD V^T = \sum_{i=1}^p u_id_iv_i^T\\ & \approx \sum_{i=1}^q u_id_iv_i^T = U_{1:n,1:q}D_{1:q}V_{1:q}, \end{align*} \] för \(q<p\).

• TMD Dataset - 5 seconds sliding window (Kaggle data)
• Rörelse/Ljud från android telefoner.
• p=14, n=5893.

df_tmp %>% 
  select(target, `sound#mean`, `android.sensor.gyroscope#mean`) %>%
  head(n = 3) %>% knitr::kable()

Använd endast de fyra största singulärvärdena, \(\tilde{D}=\operatorname{diag}(d_1,d_2,d_3,d_4,0,...,0)\).

1. \[\max_{v_1} \operatorname{Var}(X\times v_1),\: |v_1|=1\]
2. \[\max_{v_2} \operatorname{Var}(X\times v_2),\: |v_2|=1,\: v_1\perp v_2 \]
3. \[\max_{v_3} \operatorname{Var}(X\times v_3),\: |v_3|=1,\: v_1\perp v_2,\: v_1\perp v_3,\: v_2\perp v_3 \]
4. …

• Egenvektorerna till kovariansmatrisen \[X^TX v_i = \lambda_i v_i\]
• Hur relaterar SVD och principalkomponenter? \[X^TX=(UD V^T)^TUD V^T=V D U^TU D V^T=VD^2V^T\]
• Som tidigare så väljer ofta att visualisera \[U = X V\] vilket är "roterad data" med en otrogonal bas (ej oberoende)!

Vi tänker titta på alla poäng-relaterade kolumner, finns i dataframe scores. Dessa borde korrelera!

library(GDAdata)
scores_ <- select(Decathlon, starts_with("P"), -Polevault)
scores <- mutate_all(scores_, scale)
head(scores_, n=3) %>% knitr::kable()

PCA - Bekräfta att matten stämmer:

mat_scores <- as.matrix(scores)
eigen_scores <- eigen(t(mat_scores) %*% mat_scores)
svd_scores <- svd(scores)

## [1] TRUE

• Är egenvektorerna unika?

# principalkomponents analys, implementerat i 
pca_scores <- stats::prcomp(scores, retx = TRUE)
# all(abs(pca_scores$rotation) - abs(eigen_scores$vectors) < 10^(-10))

Vi vill hitta kluster av observationer/variabler som liknar varandra

• Om två kolumnerna är nära varandra mäter variablerna samma storhet
• Om två rader är nära varandra är observationerna lika
• Vi begränsar oss till euklidiskt avstånd, kräver standardisering (scale)

1. Varje observation utgör ett kluster
2. Slå ihop de två närmaste klustren, bestäm ny avståndsmatris.
3. Upprepa steg 2 tills det bara finns ett kluster.

• Complete: Största avståndent
• Single: Minsta avståndet
• Average: Medelavståndet