Lezione 17. La legge dei grandi numeri

In questa lezione

1. Che cosa dice la legge dei grandi numeri?
2. Quali disuguaglianze servono per la dimostrazione?
3. Come si dimostra la legge debole?
4. Perché la legge dei grandi numeri giustifica l'approccio frequentista?
5. Che cos'è la funzione di ripartizione empirica?
6. Che cos'è il metodo Monte Carlo?
7. Quali sono le trappole tipiche per i concetti di questa lezione?
8. Quiz della lezione (10 domande)

1. Che cosa dice la legge dei grandi numeri?

Si ripete un esperimento in modo indipendente: $X_1,X_2,\dots$ i.i.d. (indipendenti e identicamente distribuite) con $E[X_1]=\mu$ finito. La media campionaria è $\bar X_n=\frac1n\sum_{i=1}^nX_i$.

La legge forte implica la debole. La debole si dimostra molto più facilmente.

2. Quali disuguaglianze servono per la dimostrazione?

Idea comune. Sull'evento $A=\{|X|\ge\varepsilon\}$ vale $|X|\ge\varepsilon$; per monotonia $E[|X|]\ge E[|X|\chi_A]\ge\varepsilon P(A)$. Chebyshev è Markov applicata a $|X-\mu|^2$.

Esempio. Con $\sigma^2=1$ e $\varepsilon=3$: $P(|X-\mu|\ge3)\le\frac19$, per qualsiasi legge.

3. Come si dimostra la legge debole?

Caso con varianza finita.

1. $E[\bar X_n]=\mu$ per linearità.
2. $\mathrm{Var}(\bar X_n)=\dfrac{\sigma^2}n$ per indipendenza.
3. Chebyshev: $P(|\bar X_n-\mu|\ge\varepsilon)\le\dfrac{\sigma^2}{n\varepsilon^2}\to0$.

Caso con sola media finita. Si troncano le variabili: $X_i^m=X_i\chi_{\{|X_i|\le m\}}$, che hanno varianza finita.

1. Per convergenza dominata $\mu_m=E[X_i^m]\to\mu$.
2. Per il caso precedente $\bar X_n^m\to\mu_m$ in probabilità.
3. Markov controlla la differenza: $P(|\bar X_n^m-\bar X_n|\ge\varepsilon')\le E[|X_1|\chi_{\{|X_1|>m\}}]/\varepsilon'$, piccola per $m$ grande.
4. Disuguaglianza triangolare sui tre pezzi.

4. Perché la legge dei grandi numeri giustifica l'approccio frequentista?

Se $X_i$ sono i.i.d. e $g$ è misurabile e limitata, anche $g(X_i)$ sono i.i.d., quindi $\frac1n\sum g(X_i)\to E[g(X_1)]$ quasi certamente.

Con $g=\chi_A$: $$\frac1n\sum_{i=1}^n\chi_A(X_i)\;\longrightarrow\;P(X_1\in A).$$ La frequenza relativa di un evento converge alla sua probabilità: è la giustificazione matematica del principio frequentista.

5. Che cos'è la funzione di ripartizione empirica?

Dato il campione $X_1,\dots,X_n$: $$F_n(x)=\frac1n\sum_{i=1}^n\chi_{\{X_i\le x\}}$$ è la frazione di osservazioni minori o uguali a $x$.

Idea della prova ($F$ continua): si scelgono $m$ punti con $F(x_{j+1})-F(x_j)=\frac1m$; tra due punti la monotonia limita l'errore a $\max_j|F_n(x_j)-F(x_j)|+\frac1m$.

6. Che cos'è il metodo Monte Carlo?

Per stimare $\int_a^bf(t)\,dt$ con $f$ limitata:

1. Si generano $u_1,\dots,u_n$ uniformi su $[a,b]$, indipendenti.
2. $E[f(U)]=\frac1{b-a}\int_a^bf$ (formula di trasferimento).
3. Stima: $I_n=\dfrac{b-a}n\sum_{i=1}^nf(u_i)\to\int_a^bf$ quasi certamente.

Quante iterazioni? Con $|f|\le M$, errore massimo $\varepsilon$ e probabilità di sforare al più $c$, Chebyshev dà $$n\ge\frac{(b-a)^2M^2}{c\,\varepsilon^2}.$$

In dimensione bassa i metodi deterministici sono più veloci. In dimensione alta Monte Carlo diventa molto più efficiente delle griglie.

7. Quali sono le trappole tipiche per i concetti di questa lezione?

• La legge dei grandi numeri richiede media finita: senza, la media campionaria può non stabilizzarsi.
• Convergenza in probabilità non è convergenza quasi certa: la legge forte dice di più.
• Chebyshev vale per ogni legge ma è spesso una stima larga.
• Monte Carlo dà un valore probabilmente vicino, non esatto: servono due soglie, errore e probabilità.
• La legge dei grandi numeri non dice che dopo molte teste «deve» uscire croce: i lanci restano indipendenti.

8. Quiz della lezione (10 domande)

Domande di ripasso create per questa scheda a partire dalla dispensa (non sono il test ufficiale della piattaforma). Scegli una risposta: ricevi subito esito e spiegazione.