Nei giorni scorsi abbiamo dato notizia di un sondaggio (leggi qui) che dava una notizia a suo modo clamorosa. Ferrari non era il team più amato tra i fan della F1 ma, addirittura era terza, per la prima volta da quando esiste questo Global F1 Fan Survey (realizzato da Motorsport Network e Formula 1 assieme a Nielsen Sport). Si tratta di un ponderoso elaborato di 57 pagine, condito da appositi grafici, che analizza diversi aspetti del motorsport, con una platea di 167mila persone in ben 187 nazioni. Notizia riportata da tutti i mass media, compresi noi, con il dovuto risalto.
In merito all’affidabilità del Global F1 Fan Survey, alla sua attendibilità e quindi alla sua credibilità, abbiamo ricevuto una mail estremamente dettagliata che, sostanzialmente, getta non poche ombre e dubbi. Non abbiamo gli strumenti per poter entrare nel merito di una materia così tecnica, ma ospitiamo con piacere questo intervento. La mail è lunga, ma merita di essere letta tutta per avere un altro, molto interessante, punto di vista.
Mi chiamo P.I. (iniziali di fantasia) e sono docente di sociologia all’Università. Ho 30 anni di esperienza nelle indagini scientifiche, inclusi 8 anni come coordinatore della European Social Survey. Queste le mie credenziali controllabili sui siti delle istituzioni citate. Entrando nel merito una premessa: siccome qualsiasi indagine fatta bene costa parecchio.
Per dare un idea, oltre agli stipendi dei ricercatori, un singolo questionario European Social Survey (un’indagine transnazionale condotta in tutta Europa sin dalla sua istituzione nel 2001. Ogni due anni, vengono condotte interviste faccia a faccia con campioni trasversali n.d.r) di un’ora costa sui 150 € di spese di logistica. Ormai gli istituti propongono ai clienti commerciali solo indagini per internet, che costano poco, ma sono considerati dai professionisti scientifici (inclusi i project manager degli istituti stessi) come inattendibili.
Se non hai un elenco completo della popolazione di riferimento, sei costretto ad ammettere il principio dell’autoselezione, cioè si prende la briga e il tempo di rispondere chi è motivatoabbastanza, cioè interessato o nel senso intellettuale o nel senso dell’interesse di parte. La statistica consente di calcolare il margine di precisione di un sondaggio con l’unico fattore del numero di risposte. Questo pero’ funziona solo in base alle cosidette leggi dei grandi numeri, cioè la ripetizione di un evento aleatorio (random nel senso stretto). Nel caso dei sondaggi online, tipicamente, viene meno l’aleatorio in quanto i rispondenti non sono sorteggiati ma scelgono loro stessi, in funzione dei propri interessi, se partecipare o meno.
Insomma, anche se sono stati 150 mila coloro che hanno risposto al sondaggio commissionato da Motorsport Network, non si puo’ dedurre nulla perché se la probabilità di inclusione (cioè la partecipazione) è dettata da una determinata opinione (mettiamo tifoseria per una squadra), non regge proprio niente. Tecnicamente si direbbe che il campione è distorto.
Io direi che non è il caso di parlare di campione se non c’è nessuna operazione aleatoria nella selezione. Una distorsione (capita spesso nella realtà) puo’ essere accettabile solo se si puo’ ragionevolmente fare l’ipotesi che la distorsione è indipendente dell’oggetto di studio (esempio: non importa che le donne siano sovrarappresentate in un campione se non c’è nessuna differenza tra le risposte di uomini e donne sul tema che mi interessa).
Quando ho risposto io stesso al sondaggio (un po’ per curiosità sui contenuti), non ho notato nessuna precauzione rispetto alle risposte multiple da parte di uno stesso rispondente. Anche se esisteva un dispositivo non visible basato sull’indirizzo IP o su un cookie, è fin troppo facile aggirarlo. Se uno mette su un dispositivo tecnico automatizzato (ad esempio un BOT n.d.r.), puo’ facilmente intasare il sondaggio con un monte di risposte che gli fanno comodo. Altrimenti, la capacità di mobilitare le proprie “truppe” per farle partecipare è un altro modo di influenzare pesantemente il risultato.
Io non so quanto McLaren, Ferrari o Mercedes siano impegnati nei social ma, chiaramente, chi lo è di più è favorito nell’attuazione della seconda strategia, quella che usa persone vere per i propri scopi; per la prima basta un informatico medio.
Il mio ragionamento è che FIA, scuderie e sponsor hanno ingenti interessi affinché i risultati li premino. Per cui vedo chiaramente sia la possibilità tecnica di falsare i risultati che le motivazioni per farlo. Sinceramente, i risultati mi lasciano molto perplesso.
D’altra parte, il questionario è stato fatto in modo davvero strano. Non ho approfondito il modo in cui è stato tradotto, ma la versione a cui ho risposto (ora non ricordo di sicuro se era in francese o in italiano) era poco chiara su un aspetto trasversale: le modalità di risposta, cioè qualcosa che riguarda non una ma tutte le domande (almeno blocchi consistenti): non era affatto chiaro se “al di sopra delle attese” o “al di sotto delle attese” fosse da interpretare come giudizio positivo o negativo sui temi proposti.
Un’aberrazione metodologica: perché se capisci male finisci col dare risposte esattamente all’opposto di cio’ che pensi. Oltre al fatto che non sai se sei chiamato a giudicare l’importanza che dai a un determinato aspetto, o la tua soddisfazione sul come questo aspetto è gestito. Agendo cosi’, gli organizzatori si garantiscono anche la facoltà di interpretare come meglio gli conviene qualsiasi risultato. E’ forse questo l’aspetto più interessante e, aggiungiamo, “inquietante”.
Nota a margine: ci viene da pensare che Mattia Binotto, con una risposta solo apparentemente ingenua, replicando a chi gli chiedeva conto, ad Austin, del terzo posto fra le scuderie più amate (“…guardando le tribune degli autodromi non ho raccolto la stessa sensazione perché il colore rosso resta molto visibile, così come si sente ovunque il tifo dei nostri fan”), volesse proprio puntare il dito, seppur prendendola alla larga, sulla validità del sondaggio.
F1-Autore: Mariano Froldi – @MarianoFroldi
Foto: Scuderia Ferrari – Global F1 Fan Survey
