Lezione 27. Correlazione e regressione lineare semplice

In questa lezione

Che cosa misurano covarianza e correlazione?
Perché la correlazione non implica causalità?
Come si trova la retta di regressione?
Come si misura l'associazione tra caratteri qualitativi?
Quali indici misurano la dipendenza tra caratteri qualitativi?
Quali sono le trappole tipiche per i concetti di questa lezione?
Quiz della lezione (10 domande)

1. Che cosa misurano covarianza e correlazione?

Indice	Formula	Valori
Covarianza campionaria	$C(x,y)=\dfrac1{n-1}\sum_i(x_i-\bar x)(y_i-\bar y)$	Qualsiasi; dipende dalle unità di misura
Indice di correlazione	$r_{xy}=\dfrac{C(x,y)}{\sigma_x\sigma_y}$	Tra −1 e 1

Perché misurano relazioni lineari. Per Cauchy-Schwarz $|C(x,y)|\le\sigma_x\sigma_y$ , con uguaglianza se e solo se $y_i=ax_i+b$ . Quindi $r=\pm1$ solo per una relazione lineare perfetta (segno di $a$ ).

$r_{xy}$	Lettura
Vicino a 1	Forte correlazione positiva: al crescere di $x$ cresce $y$
Vicino a −1	Forte correlazione negativa: al crescere di $x$ cala $y$
Vicino a 0	Nessuna relazione lineare (ma può esserci una relazione quadratica o di altro tipo)

2. Perché la correlazione non implica causalità?

Correlazione osservata	Spiegazione
Agenti di polizia e crimini	Variabile nascosta: la dimensione della popolazione
Diffusione del nome «Sarah» e disboscamento in Brasile	Coincidenza
Film di Nicolas Cage e annegamenti in piscina	Coincidenza

La correlazione serve a validare una previsione teorica, non a dimostrare una causa.

3. Come si trova la retta di regressione?

Metodo dei minimi quadrati. Si cercano $a,b$ che minimizzano $F(a,b)=\sum_{i=1}^n(y_i-ax_i-b)^2.$

$\partial_bF=0$ dà $\bar y=a\bar x+b$ : la retta passa per il punto medio $(\bar x,\bar y)$ .
$\partial_aF=0$ e la sostituzione danno $a=\dfrac{\sum x_iy_i-n\bar x\bar y}{\sum x_i^2-n\bar x^2}$ .
Numeratore e denominatore sono $(n-1)C(x,y)$ e $(n-1)\sigma_x^2$ .

a=r_{xy}\frac{\sigma_y}{\sigma_x}=\frac{C(x,y)}{\sigma_x^2},\qquad b=\bar y-a\bar x.

Esempio aggiunto. $x=1,2,3,4,5$ ; $y=2,4,5,4,5$ . $\bar x=3$ , $\bar y=4$ .

Quantità	Calcolo	Valore
$\sum(x_i-\bar x)(y_i-\bar y)$	$4+0+0+0+2$	6
$\sum(x_i-\bar x)^2$	$4+1+0+1+4$	10
$\sum(y_i-\bar y)^2$	$4+0+1+0+1$	6
Pendenza $a$	$6/10$	0,6
Intercetta $b$	$4-0{,}6\cdot3$	2,2
$r_{xy}$	$6/\sqrt{10\cdot6}$	$\approx0{,}77$

Scatter plot e retta di regressione y = 2,2 + 0,6x (r ≈ 0,77)

Con $r\approx0{,}4$ i punti sono dispersi intorno alla retta; con $r\approx0{,}9$ sono stretti intorno ad essa.

4. Come si misura l'associazione tra caratteri qualitativi?

Con dati non numerici (per esempio il colore di un prodotto) non esistono correlazione né retta. Si usano le frequenze relative condizionate: $f_{l|j}=\frac{\#\{(x_i,y_i)=(a_j,b_l)\}}{|Y_{a_j}|},\qquad Y_{a_j}=\{i:x_i=a_j\}.$

Idea. Se la distribuzione di $y$ è la stessa per ogni valore di $x$ , i caratteri sono indipendenti.

Esperimento	Distribuzioni condizionate	Conclusione
Primo dado 1–3: secondo lancio con un d6; 4–6: con un d20. $y$ = somma	Molto diverse per primo lancio 2 o 4	Dipendenza
Due dadi a 6 facce, 500 lanci	Quella del secondo dado dato «primo = 3» è simile a quella totale	Indipendenza stocastica: $f_{jl}\approx f_{a_j}f_{b_l}$

5. Quali indici misurano la dipendenza tra caratteri qualitativi?

Indice	Che cosa misura	Valori
Distanza $\sqrt{\chi^2}$	Quanto differiscono tra loro le distribuzioni condizionate	0 se sono tutte uguali
V di Cramér	Distanza dall'indipendenza stocastica	Tra 0 e 1
Mutual information $MI$	Distanza dall'indipendenza, misurata con l'entropia	$\ge0$
MI normalizzata $NMI$	Versione normalizzata di $MI$	Tra 0 e 1

Formule.

\chi^2=\sum_{j<p}\sum_l\frac{(f_{l|j}-f_{l|p})^2}{f_{l|j}+f_{l|p}}

V=\sqrt{\frac1{\min\{m,k\}-1}\sum_{j,l}\frac{(f_{jl}-f_{a_j}f_{b_l})^2}{f_{a_j}f_{b_l}}}

MI=\sum_{j,l}f_{jl}\log\frac{f_{jl}}{f_{a_j}f_{b_l}},\qquad NMI=\frac{MI}{\sqrt{H(x)H(y)}}

Qui $f_{jl}$ è la frequenza relativa della coppia $(a_j,b_l)$ ; $f_{a_j}$ , $f_{b_l}$ sono le frequenze marginali. Con pochi dati e molte categorie questi indici sono instabili.

6. Quali sono le trappole tipiche per i concetti di questa lezione?

Correlazione non è causalità: cerca variabili nascoste.
$r=0$ esclude solo relazioni lineari. Esempio: $y=x^2$ con $x$ simmetrico intorno a 0 dà $r=0$ .
La pendenza della retta è $r\,\sigma_y/\sigma_x$ , non $r$ .
La retta dei minimi quadrati passa sempre per $(\bar x,\bar y)$ .
V di Cramér e MI richiedono abbastanza dati per categoria.

7. Quiz della lezione (10 domande)

Domande di ripasso create per questa scheda a partire dalla dispensa (non sono il test ufficiale della piattaforma). Scegli una risposta: ricevi subito esito e spiegazione.