Unit 4 - One-way ANOVA

Problema
Si consideri la variabile \(X\sim N(\mu, \sigma^2)\) e tre campioni indipendenti di ampiezza \(n\) estratti sotto l'ipotesi \(\mu_1 = \mu_2 = \mu_3\) e \(\sigma^2_1 = \sigma^2_2 = \sigma^2_3\), fissato il livello di significatività \(\alpha\), si vuole verificare l'ipotesi:

\[H_0: \mu_1 = \mu_2, \hspace{1cm} H_0: \mu_1 = \mu_3, \hspace{1cm} H_0: \mu_2 = \mu_3\]

contro l'ipotesi alternativa:

\[H_1: \left(\mu_1 \neq \mu_2 \bigcup \mu_1 \neq \mu_3 \bigcup \mu_2 \neq \mu_3\right)\]

(esiste almeno una media diversa dalle altre).

Problema

\[H_0: \mu_1 = \mu_2, \hspace{1cm} H_0: \mu_1 = \mu_3, \hspace{1cm} H_0: \mu_2 = \mu_3\]

contro

\[H_1: \left(\mu_1 \neq \mu_2 \bigcup \mu_1 \neq \mu_3 \bigcup \mu_2 \neq \mu_3\right)\]

• Ciascuna ipotesi potrà essere verificata eseguendo un test \(t_{n-1}\) per \(\alpha = 0,05\)
• e assumiamo che che tutte e tre le ipotesi \(H_0\) debbano essere rifiutate
  (c'è differenza fra le medie)
• ciò vuol dire che se la probabilità di commettere un errore di II tipo è di \(0,95\) per ciascun test, nel complesso la probabilità di un errore di secondo tipo sarà \(0,95\times 0,95 \times 0,95 = 0,95^3 = 0,857\) (trattandosi di eventi indipendenti).
• Nel complesso, quindi, \(\alpha = 1 - 0,857 = 0,143\), ben più alto della soglia di \(0,05\) fissata.
• L'incremento di \(\alpha\) da \(0,05\) a \(0,143\) è dovuto al family-wise effect.

• Il test \(t\) permette di stabilire se due campioni provengono da popolazioni che hanno la stessa media (o provengono dalla stessa popolazione).
• L'ANalisi della (Of) VArianza (ANOVA) permette di stabilire se tre o più campioni provengono da popolazioni che hanno la stessa media (o dalla stessa popolazione).
• L'ANOVA si basa sulla statistica campionaria \(F_{(k-1)(n-k)}\)
  \[ F_{(k-1)(n-k)} = \frac{SS_B}{SS_W}\frac{n-k}{k-1} = \frac{\sum_{j=1}^{k}(\bar{X}_k - \bar{\bar{X}})^2}{\sum_{j=1}^{k}\sum_{i=1}^{n_j}(X_i - \bar{X}_k)^2}\frac{n-k}{k-1} \] dove \(n\) è la numerosità totale e \(n_j\) è la numerosità del \(j\)-esimo gruppo e \(k\) indica il numero totale di gruppi. 
• Se sotto \(H_0\) \(X\sim N(\mu, \sigma^2)\), allora la statistica \(F_{(k-1)(n-k)}\) segue una distribuzione \(F\) di Fisher con g.d.l \((k-1)\) e \((n-k)\) in quanto è il rapporto fra due v.c. \(\chi^2\) indipendenti (sotto \(H_0\)!) ciascuna rapportata ai propri g.d.l..

Scomposizione della devianza
La statistica \(F\) si basa sulla ben nota proprietà della devianza (varianza) per cui se le \(n\) unità di un collettivo statistico, su cui è stata misurata la variabile \(X\), vengono suddivise in due o più gruppi con medie: \(\mu_1, \mu_2, \ldots, \mu_k\), allora la devianza totale (somma dei quadrati) \(\text{Dev}_{\sf T}(X)\) può essere scomposta  nelle seguenti quantità:

\[ \text{Dev}_{\sf T}(X) = \text{Dev}_{\sf B}(X) + \text{Dev}_{\sf W}(X) \]

dove \(\text{Dev}_{\sf B}(X)\) e \(\text{Dev}_{\sf W}(X)\) indicano rispettivamente le devianze fra i gruppi e la somma delle devianze nei gruppi.

Si avrà allora che \( 0 \leq F \leq \infty \).

• L'indice  \(\eta^2\) è una misura normalizzata del legame fra la variabile dipendente e la/le variabile/i esplicativa/e:
  \[ 0 \leq \eta^2 = \frac{Dev_{\sf B}(X)}{Dev_{\sf T}(X)} \leq 1 \]

• L'indice \(\omega^2\) (meno utilizzato) è una misura analoga e per certi versi anche migliore dell'\(\eta^2\):
  \[ \omega^2 = \frac{\text{Dev}_{\sf B}(X) - \frac{k-1}{n-k}\text{Dev}_{\sf B}(X)}{\text{Dev}_{\sf T}(X) + \frac{1}{n-k}\text{Dev}_{\sf B}(X)} \]

• Il test \(F\), detto anche test omnibus, pone a verifica la seguente ipotesi  nulla
  \[ H_0: F_{(k-1)(n-k)} = 0 \] contro l'ipotesi alternativa
  \[ H_1: F_{(k-1)(n-k)} > 0 \]

• Accettare \(H_0\) implica considerare vera l'ipotesi per cui tutte le medie sono uguali. 
• Rifiutare \(H_0\) implica assumere vera la condizione \(H_1\), ovvero che almeno una delle popolazioni considerate ha una media differente dalle altre.

\[ F_{(3-1),(N-3)} = \frac{\frac{(n_1\bar{X}^2_1 + n_2\bar{X}^2_2 + n_3\bar{X}^2_3)}{{\sigma^2}}}{\frac{n_1{S}^2_1}{{\sigma^2}} +\frac{n_2{S}^2_2}{{\sigma^2}} + \frac{n_3{S}^2_3}{{\sigma^2}}}\frac{n_1+n_2+n_3 -3}{3-1} \]

dove \(N = n_1 + n_2 + n_3\)