Quando 'nessun effetto' nasconde due verità diverse

Hai mai letto uno studio che dice "non abbiamo trovato prove che X influenzi Y"? Sembra una non-notizia, ma in finanza succede spesso. Il problema è che "statisticamente non significativo" non significa "effetto zero". Significa solo che i dati non riescono a scartare lo zero, ma neanche un sacco di altri valori.

Immagina di misurare l'altezza di una porta con un righello storto: se il risultato è "tra 1,80 e 2,20 metri", non hai imparato molto. Ma se il righello è preciso e dice "tra 1,99 e 2,01 metri", sai che la porta è standard. Nel primo caso l'intervallo è vuoto (vacuo), nel secondo è limitato (informativo).

L'autore propone una regola semplice: prima di fare l'analisi, dichiara qual è l'effetto minimo che avrebbe senso pratico (es. "un aumento dell'1% dei tassi cambia gli investimenti di almeno 10 milioni"). Poi confronta quel numero con i bordi dell'intervallo di confidenza. Se l'intervallo esclude quell'effetto, hai una vera scoperta: l'effetto è troppo piccolo per contare. Se l'intervallo lo include, lo studio non dice nulla.

Spesso succede una cosa buffa: da una parte l'intervallo è informativo, dall'altra è vuoto. Dire "nessun effetto" nasconde questa sfumatura. La prossima volta che vedi "non significativo", chiediti: l'intervallo è stretto abbastanza da escludere ciò che conta?

Il paper distingue due tipi di risultati "non significativi" che nelle tabelle di regressione standard appaiono identici. Un "null claim limitato" (bounded) ha un intervallo di confidenza abbastanza stretto da escludere effetti economicamente rilevanti: è una scoperta genuina, prova che l'effetto è troppo piccolo per contare. Un "null claim vacuo" ha un intervallo talmente ampio da includere effetti rilevanti: non stabilisce nulla, spesso per mancanza di potenza statistica, dati deboli o strategia di identificazione imperfetta.

La proposta operativa è minima: gli autori devono dichiarare ex-ante la "minimum consequential effect size" (MCES) nelle unità della variabile dipendente per un incremento nominato del regressore. Poi confrontano la MCES con i bordi dell'intervallo di confidenza (solitamente al 95%). Se l'intervallo esclude la MCES da entrambi i lati → bounded null (informativo). Se include la MCES da almeno un lato → vacuous null (non informativo).

Un punto chiave: la simmetria della frase "nessun effetto" nasconde verdetti divisi. Esempio: studio sull'effetto dei tassi sugli investimenti. MCES = -0,5% investimenti per +1% tassi. Intervallo IC95% = [-0,8%, -0,1%]. Lato sinistro esclude -0,5% (bounded), lato destro include -0,5% (vacuous). Verdetto: effetti positivi grandi esclusi, effetti negativi grandi non esclusi. Dire "tassi non influenzano investimenti" è fuorviante.

L'autore sta applicando questo framework a null claims pubblicati su top finance journals (JF, JFE, RFS, JFQA), partendo dai propri lavori. Risultati preliminari: larga frazione di null claims è vacuous da almeno un lato. Implicazione: molti "non risultati" in letteratura non sono evidenze di assenza, ma assenze di evidenza mascherate da conclusioni definitive.