Lezione 28. La regressione lineare multivariata

In questa lezione

1. Quali strumenti di algebra lineare servono?
2. Come si generalizzano media e covarianza ai vettori?
3. Che cosa sono whitening e correlazioni canoniche?
4. Come funziona la regressione multivariata?
5. Che cosa sono varianza spiegata e coefficiente di determinazione?
6. Che cos'è la PCA?
7. Quali sono le trappole tipiche per i concetti di questa lezione?
8. Quiz della lezione (10 domande)

1. Quali strumenti di algebra lineare servono?

Una matrice non simmetrica può non avere abbastanza autovettori: $\begin{pmatrix}a&1\\0&a\end{pmatrix}$ ha l'autovalore doppio $a$ ma un solo autovettore.

2. Come si generalizzano media e covarianza ai vettori?

Osservazioni $x_1,\dots,x_n\in\mathbb R^m$ e $y_1,\dots,y_n\in\mathbb R^d$.

Trasformazioni affini. Se $z=Ax+b$: $\bar z=A\bar x+b$ e $\Sigma_z=A\Sigma_xA^t$.

3. Che cosa sono whitening e correlazioni canoniche?

Whitening. Si centrano i dati e si cambia base perché la covarianza diventi l'identità (o un proiettore, se $\Sigma_x$ non è invertibile):

1. Diagonalizza $\Sigma_x=Q^tDQ$.
2. Sostituisci gli zeri di $D$ con 1 (matrice $D'$).
3. Poni $x_i'=(D')^{-1/2}Q(x_i-\bar x)$.

È l'analogo di dividere per la deviazione standard. Non cambia l'esistenza di relazioni lineari tra $x$ e $y$.

Correlazioni canoniche (CCA). $\rho_i(x,y)$ = valori singolari di $C(x',y')$, dopo il whitening, in ordine decrescente.

4. Come funziona la regressione multivariata?

Si cerca $y\approx Ax+b$ minimizzando $F(A,b)=\sum_i|y_i-Ax_i-b|^2$.

1. $\partial_bF=0$: $b=\bar y-A\bar x$.
2. $\partial_AF=0$: $(n-1)\big(C(x,y)^t-A\Sigma_x\big)=0$.
3. Se $\Sigma_x$ è invertibile: $A=C(x,y)^t\,\Sigma_x^{-1}$.

Se $\Sigma_x$ non è invertibile (collinearità) la soluzione non è unica e il metodo è instabile: si usa la pseudo-inversa $\Sigma_x^\dagger$, calcolata con la decomposizione ai valori singolari. In una dimensione si ritrova $a=C(x,y)/\sigma_x^2$ (lezione 27).

5. Che cosa sono varianza spiegata e coefficiente di determinazione?

La previsione dei minimi quadrati è una proiezione ortogonale $P$ in $\mathbb R^n$. Quindi la varianza totale si scompone (Pitagora):

Coefficiente di determinazione: $$R^2=\frac{|P(Y-\bar Y)|^2}{|Y-\bar Y|^2}\in[0,1].$$ Più è vicino a 1, più la regressione cattura la varianza dei dati.

Caso scalare (Esercizio 3 della dispensa): $R^2=r_{xy}^2$. Nell'esempio della lezione 27 ($r\approx0{,}77$) la retta spiega circa il 60% della varianza ($R^2=0{,}6$).

6. Che cos'è la PCA?

La principal component analysis trasforma variabili correlate in variabili scorrelate (componenti principali), ordinate per varianza decrescente.

1. Calcola la matrice di covarianza $\Sigma_x$.
2. Diagonalizza: $\Sigma_x=U\,\mathrm{diag}(\lambda_1,\dots,\lambda_d)\,U^t$, con $\lambda_1\ge\dots\ge\lambda_d\ge0$.
3. Nuove coordinate $x_i'=U^tx_i$: covarianza diagonale.
4. Tieni le prime $k$ componenti, con varianza spiegata $\dfrac{\lambda_1+\dots+\lambda_k}{\lambda_1+\dots+\lambda_d}$ vicina a 1.

Esempio aggiunto. $\Sigma=\begin{pmatrix}2&1\\1&2\end{pmatrix}$: autovalori 3 e 1. La prima componente (direzione $(1,1)/\sqrt2$) spiega $3/4=75\%$ della varianza.

In pratica si calcola con la SVD della matrice $n\times d$ dei dati centrati. Usata prima della regressione si chiama PCR (principal component regression) e risolve la collinearità.

7. Quali sono le trappole tipiche per i concetti di questa lezione?

• La covarianza di un vettore è una matrice; la varianza ne è la traccia.
• Nelle correlazioni canoniche prima si fa il whitening, poi si calcolano i valori singolari: l'ordine conta.
• $A=C^t\Sigma_x^{-1}$ richiede $\Sigma_x$ invertibile; altrimenti pseudo-inversa.
• $R^2$ alto non dimostra causalità.
• Nella PCA si scelgono le componenti con gli autovalori più grandi.

8. Quiz della lezione (10 domande)

Domande di ripasso create per questa scheda a partire dalla dispensa (non sono il test ufficiale della piattaforma). Scegli una risposta: ricevi subito esito e spiegazione.