Chi non si è mai chiesto perché sia stata scelta la soglia del 5% per definire normalmente le significatività di una statistica?È sempre stata una convenzione praticamente da tutti accettata anche se c’era chi la sostituiva con l’1% o con il 10% in ragione della gravità problema che stava esaminando. É sempre sembrato il più delle volte che ci si potesse permettere di sbagliare almeno o solo una volta su venti nel credere che ad esempio una differenza non fosse dovuta al caso.  Ci si è chiesti però molto di meno quante volte abbiamo scartato un risultato perché non significativo mentre in realtà non era dovuto alla casualità. 

Mi è capitato ultimamente,, facendo da referee, di chiedere all’autore di indicare quale fosse il possibile errore stocastico di un risultato e mi sono sentito rispondere “la significatività non si usa più”! È per questo che come spesso accade, mi sembra si sia passati dall’idolatria all’empietà. Se osservo un risultato diverso dall’attesa, la diversità è comunque reale e come tale la devo considerare, ma è giusto, e direi anche necessario, chiedersi se questo potesse accadere anche solo per un effetto di natura casuale.

In effetti la cosiddetta “significatività statistica” era, ovvero è ancora, una “scommessa”, consistente nello stabilire che, se un risultato può verificarsi a caso in più di una determinata percentuale, allora non deve considerarsi statisticamente significativo, cioè non possa non considerarsi anche casuale. Naturalmente la percentuale deve essere definita a priori, cioè prima di sapere quale sia il risultato, in funzione della sicurezza necessaria di essere certi che la differenza sia effettiva e non casuale.

Perché però 5% ? solo per convenzione o per abitudine, oppure perché 5 è una cifra “tonda” simile alle dita della mano … cioè senza alcuna giustificazione teorica. Ma quante volte abbiamo ignorato un risultato magari importante solo perché “non statisticamente significativo” mentre magari il prenderlo in considerazione ci avrebbe molto aiutato?

Allora è importante distinguere tra due diverse situazioni: quando il risultato ci porta ad una conoscenza cui non è immediatamente associata una decisione ed invece quando una statistica serve per prendere nell’immediato, o quasi, una decisione.

Se infatti devo prendere una decisione è necessario definire a priori qual è il livello di sicurezza necessaria e quindi devo evitare che la decisione non si basi su un risultato che potrebbe dipendere anche solo dalla variabilità casuale. Ma se la statistica ha uno scopo non immediatamente decisionale, allora porre una soglia di significatività, cioè fare questa “scommessa”, ha poco senso, ed è giusto evitarlo; sarebbe solo, potremmo dire,  una “idolatria” statistica.

Ma non è che devo ignorare allora la variabilità casuale, questo sarebbe un comportamento di empietà ancor peggiore! Nell’esaminare un indicatore è essenziale sapere quale è la possibilità che quel valore potrebbe manifestarsi anche solo per effetto del caso.

Facciamo un esempio riguardante il numero di decessi di una determinata area: in una stagione precedente si osservavano 16 decessi in un mese mentre durante l’epidemia da covid-19 in trenta giorni se ne sono osservati 25 e poi ad epidemia terminata, sempre in un mese 9. Ci si chiede se possiamo attribuire all’epidemia la variazione del numero dei decessi, ovvero se la crescita e la diminuzione siano “statisticamente significative”. L’ipotesi comunemente, e correttamente, assunta è che la frequenza di decessi segua una distribuzione casuale di tipo poissoniano, con varianza uguale alla media e quindi con deviazione standard, assunta poi come errore, pari alla radice quadrata della varianza. Se ci sono 25 decessi l’errore è allora 5 e l’intervallo di confidenza al 5% va quindi da 15 a 35  e quindi il valore 16 di riferimento, considerato qui senza errore, è interno all’intervallo di confidenza. In tal caso si concluderebbe che non vi è stata crescita statisticamente significativa.

Se tempo dopo considerassimo invece i 9 decessi, l’errore standard sarebbe 3 e l’intervallo di confidenza tra 3 e 15 e quindi la differenza sarebbe statisticamente significativa dal valore atteso 16 ma non dal valore prima osservato 25! Tralasciamo di aver moltiplicato l’errore per 2 e non per 1,96 come si dovrebbe se ci riferissimo correttamente al valore corrispondente all’area del 5% ricavato dalla gaussiana, ma comunque i conti cambierebbero poco.

È evidente come sia paradossale e non accettabile affermare che sia la stessa cosa osservare 9 oppure 25 decessi! È vero che nel 95% dei casi la differenza potrebbe essere dovuta al caso, ed è solo nel 5 % che assumiamo che più probabilmente non lo sia, ma la distanza rimane elevata!

Le due distribuzioni qui illustrate sono ricavate da 10.000 simulazioni di valori casuali distribuiti in modo poissoniano la prima con media 9 e la seconda con media 25. Se definiamo un intervallo di confidenza al 5% i valori di riferimento saranno rispettivamente 3 e 15 per il valore 9 e 15 e 35 per il valore 25.

Di certo non è uguale dire che nei due mesi si sono osservati 14 e 18 decessi oppure 9 e 25! E allora la variabilità casuale deve rientrare in gioco dando il livello di affidabilità della nostra conclusione: quante volte percentualmente sbaglieremmo dicendo che sono uguali e quante volte dicendo che sono diversi? Nel caso di 14 a 18 sbaglieremmo sicuramente di più nel dire che sono diversi che non dicendo che sono simili, ma nel caso di 9 a 25 sarebbe esattamente il contrario. Ed è questa probabilità che dovremmo affiancare ai nostri dati e non semplicemente dire che con una soglia del 5% i decessi dei due mesi non differiscono in modo statisticamente significativo.

Concludendo allora, quando si presenta una statistica, è sempre meglio dare la probabilità che il valore ottenuto possa essere determinato dalla variabilità casuale, astenendosi invece dal dare un giudizio manicheo di presenza o assenza di significatività statistica. Gli strumenti metodologici per calcolare correttamente questa percentuale ci sono e per lo più tutti sappiamo come usarli, e sennò possiamo sempre chiedere a un collega statistico di darci una mano in tal senso! Evitiamo però le idolatrie e le empietà!

 02/10/2020      Visite