L’altra sera ho guardato un vecchio film di motociclismo degli anni ’60 e sono rimasto colpito dal gergo dei motociclisti. Avevano un linguaggio tutto loro. Proprio come gli statistici, il cui modo di parlare spesso confonde chi non conosce il gergo dell’analisi dei dati.
Mi ha fatto pensare… e se ci fosse una banda di motociclisti tutti statistici? Chiamateli i Nulls Angels. Immaginateli con i loro colori, mentre attraversano la campagna, analizzando i dati e chiedendo alle persone che incontrano sulla strada se “non riescono a rifiutare l’ipotesi nulla”.
Se fate notare quanto suoni strana questa frase, i Nulls Angels sapranno che non siete fighi… e non siete molto informati sulla statistica.
Parlando puramente come editore, riconosco che “non riuscire a rifiutare l’ipotesi nulla” è degno di nota. “Non riuscire a rifiutare” sembra un equivalente troppo complicato da accettare. Come minimo, è un modo di dire goffo.
Ma si scopre che quegli statistici rozzi e pronti negli Angeli Nulli hanno buone ragioni per parlare così. Da un punto di vista statistico, è innegabilmente accurato – e sostituire il “mancato rifiuto” con “accettare” sarebbe semplicemente sbagliato.
Che cos’è l’ipotesi nulla, comunque?
I test di ipotesi includono test t a uno e due campioni, test di associazione, test di normalità e molti altri. (Tutti questi test sono disponibili nel menu Stat del software statistico Minitab. Oppure, se volete un po’ più di guida statistica, l’Assistente può guidarvi attraverso i test di ipotesi più comuni passo dopo passo.
Un test di ipotesi esamina due proposizioni: l’ipotesi nulla (o H0 in breve) e l’alternativa (H1). L’ipotesi alternativa è quella che speriamo di sostenere. Presumiamo che l’ipotesi nulla sia vera, a meno che i dati non forniscano prove sufficienti che non lo sia.
Hai sentito la frase “Innocente fino a prova contraria”. Questo significa che l’innocenza dell’imputato è data per scontata fino a quando la colpevolezza non è provata. In statistica, l’ipotesi nulla è data per scontata fino a quando l’alternativa è dimostrata vera.
Perché “non riusciamo a rifiutare” l’ipotesi nulla?
Questo porta alla questione della “prova”.
Il grado di prova statistica di cui abbiamo bisogno per “provare” l’ipotesi alternativa è il livello di confidenza. Il livello di confidenza è 1 meno il nostro rischio di commettere un errore di tipo I, che si verifica quando si rifiuta erroneamente un’ipotesi nulla che è vera. Gli statistici chiamano questo rischio alfa, e si riferiscono anche ad esso come il livello di significatività. La tipica alfa di 0,05 corrisponde a un livello di confidenza del 95%: stiamo accettando il 5% di possibilità di rifiutare l’ipotesi nulla anche se è vera (in questioni di vita o di morte, potremmo abbassare il rischio di un errore di tipo I all’1% o meno).)
A prescindere dal livello alfa che scegliamo, qualsiasi test di ipotesi ha solo due possibili risultati:
- Rifiutare l’ipotesi nulla e concludere che l’ipotesi alternativa è vera al livello di confidenza del 95% (o qualsiasi livello abbiate scelto).
- Non rifiutare l’ipotesi nulla e concludere che non ci sono abbastanza prove per suggerire che l’ipotesi nulla è falsa al livello di confidenza del 95%.
Spesso usiamo un p-value per decidere se i dati supportano l’ipotesi nulla o no. Se il valore p del test è inferiore al nostro livello alfa selezionato, rifiutiamo l’ipotesi nulla. O, come dicono gli statistici: “Quando il p-value è basso, l’ipotesi nulla deve andare”
Questo ancora non spiega perché uno statistico non “accetta l’ipotesi nulla”. Ecco la linea di fondo: non rifiutare l’ipotesi nulla non prova che l’ipotesi nulla sia vera. Questo perché un test d’ipotesi non determina quale ipotesi sia vera, o anche quale sia la più probabile: valuta solo se esistono prove per rifiutare l’ipotesi nulla.
“Null Until Proved Alternative”
Ritorniamo a “innocente fino a prova contraria”. Come analista di dati, voi siete il giudice. Il test di ipotesi è il processo, e l’ipotesi nulla è l’imputato. L’ipotesi alternativa è l’accusa, che deve far valere il suo caso oltre ogni ragionevole dubbio (diciamo, con il 95% di certezza).
Se le prove del processo non dimostrano che l’imputato è colpevole, non hanno nemmeno dimostrato che l’imputato è innocente. Tuttavia, sulla base delle prove disponibili, non si può rifiutare questa possibilità. Quindi come annuncereste il vostro verdetto?
“Non colpevole”.
Questa frase è perfetta: “Non colpevole” non dice che l’imputato è innocente, perché questo non è stato provato. Dice solo che l’accusa non è riuscita a convincere il giudice ad abbandonare la presunzione di innocenza.
Quindi il “mancato rigetto del nulla” è l’equivalente statistico di “non colpevole”. In un processo, l’onere della prova ricade sull’accusa. Quando si analizzano i dati, l’intero onere della prova ricade sui vostri dati campione. “Non colpevole” non significa “innocente”, e “non respingere” l’ipotesi nulla è ben distinto da “accettarla”.
Quindi, se un gruppo di statistici predoni nelle loro tute di Nulls Angels te lo chiede, tieniti nelle loro grazie, e dimostra che sai che “non riuscire a rifiutare l’ipotesi nulla” non è “accettare l’ipotesi nulla”
.