Lezione 25. Concentrazione e omogeneità

In questa lezione

Che differenza c'è tra concentrazione, omogeneità e dispersione?
Che cos'è l'entropia di Shannon?
Quali indici normalizzati misurano l'eterogeneità?
Che cos'è la curva di Lorenz?
Come si calcola il coefficiente di Gini?
Quali sono le trappole tipiche per i concetti di questa lezione?
Quiz della lezione (10 domande)

1. Che differenza c'è tra concentrazione, omogeneità e dispersione?

Concetto	Significato	Collegamento
Concentrazione	Le frequenze si accumulano su pochi valori	Prevedibilità
Omogeneità	Tutti i valori hanno frequenze simili	Imprevedibilità
Dispersione	Quanto i valori si allontanano dalla media	Varianza, scostamento semplice

La concentrazione riguarda le frequenze, non il numero di valori né la loro distanza. Per la normale le due idee coincidono: più $\sigma$ è piccola, più la densità si concentra in $\mu$ ( $f_{\mu,\sigma}(\mu)=\frac1{\sqrt{2\pi}\sigma}\to\infty$ ).

Esempio: varianza fissa, concentrazione diversa. Dati con valori 0 e $v$ ; $p$ = frequenza relativa di $v$ . Per $n$ grande $\bar x=pv$ e $\sigma^2\approx v^2p(1-p)$ . Con $v=1/\sqrt{p(1-p)}$ la varianza vale sempre 1, ma:

$p\approx0$ : concentrata in 0;
$p\approx\frac12$ : omogenea;
$p\approx1$ : concentrata in $v$ .

2. Che cos'è l'entropia di Shannon?

Con le frequenze relative $f_1,\dots,f_n$ : $H=-\sum_{i=1}^nf_i\log f_i.$

Proprietà	Motivo
$H\ge0$	$f_i\in(0,1]$ , quindi $\log f_i\le0$
$H=0$ se e solo se c'è un solo valore	Serve $f_i=1$
Massimo $\log n$ solo per frequenze uniformi $f_i=\frac1n$	Moltiplicatori di Lagrange; sul bordo l'entropia è più piccola

Misura incertezza e imprevedibilità. In informatica è il limite inferiore della lunghezza media di un codice di compressione: dati concentrati si comprimono bene, dati uniformi no.

3. Quali indici normalizzati misurano l'eterogeneità?

Indice	Formula	Valori
Indice di entropia	$I_h=-\dfrac1{\log n}\sum_if_i\log f_i$	0 = un solo valore; 1 = uniforme
Eterogeneità di Gini	$I_G=\dfrac n{n-1}\Big(1-\sum_if_i^2\Big)$	0 = un solo valore; 1 = uniforme

Esempio. Frequenze $\frac12,\frac14,\frac14$ ( $n=3$ ): $H\approx1{,}040$ , $I_h=H/\log3\approx0{,}946$ , $I_G=\frac32\big(1-\frac14-\frac1{16}-\frac1{16}\big)=0{,}9375$ .

Per $I_G$ il massimo segue da Cauchy-Schwarz: $\sqrt n\big(\sum f_i^2\big)^{1/2}\ge\sum f_i=1$ .

4. Che cos'è la curva di Lorenz?

Dati positivi ordinati $x_1\le\dots\le x_n$ (per esempio redditi): $L\Big(\frac jn\Big)=\frac{x_1+\dots+x_j}{x_1+\dots+x_n}.$ Si uniscono $(0,0)$ e i punti $\big(\frac jn,L(\frac jn)\big)$ . $L(t)$ è la quota del totale posseduta dalla frazione $t$ più povera.

Proprietà	Motivo
Crescente	Dati positivi
Convessa	Dati ordinati: le pendenze $x_{j+1}/\sum x_i$ crescono
Sotto la diagonale: $L(\frac jn)\le\frac jn$	La media dei primi $j$ dati è al massimo la media totale
Uguale alla diagonale	Se e solo se tutti i dati sono uguali (equidistribuzione)

Non è un'ogiva: l'ogiva cumula le frequenze, la curva di Lorenz cumula le quantità.

5. Come si calcola il coefficiente di Gini?

G=\frac{\int_0^1\big(t-L(t)\big)dt}{1/2}=1-2\int_0^1L(t)\,dt,\qquad\int_0^1L=\sum_{i=1}^n\frac{L(\frac in)+L(\frac{i-1}n)}{2n}.

$G=0$ : equidistribuzione. $G$ vicino a 1: forte concentrazione.

Esempio: 4 redditi 1, 2, 3, 6 (totale 12).

$j/n$	1/4	1/2	3/4	1
Somma parziale	1	3	6	12
$L(j/n)$	1/12	1/4	1/2	1

Curva di Lorenz dei redditi 1, 2, 3, 6 (la retta è la diagonale di equidistribuzione)

Trapezi: $\int_0^1L=\frac18\big(\frac1{12}+\frac13+\frac34+\frac32\big)=\frac13$ .
$G=1-2\cdot\frac13=\frac13\approx0{,}33$ .

Il 50% più povero possiede solo il 25% del reddito.

6. Quali sono le trappole tipiche per i concetti di questa lezione?

Varianza alta non vuol dire omogeneità: la concentrazione guarda le frequenze.
Entropia alta = dati omogenei = poco prevedibili.
Nella curva di Lorenz i dati vanno ordinati in modo crescente.
La curva di Lorenz sta sempre sotto la diagonale.
Coefficiente di Gini (Lorenz) e indice di eterogeneità di Gini sono indici diversi.

7. Quiz della lezione (10 domande)

Domande di ripasso create per questa scheda a partire dalla dispensa (non sono il test ufficiale della piattaforma). Scegli una risposta: ricevi subito esito e spiegazione.