Nel post precedente ho messo alla prova il modello sviluppato per le amministrative 2011 sui dati rilevati in questa tornata elettorale.
Vediamo come è andata.
Il modello ha funzionato nel 66,6% dei casi. Nello specifico il candidato con più Facebook Likes è risultato il più votato nel 41,6% dei casi (Catanzaro, Como, Genova, Lecce, Lucca, Monza, Palermo, Rieti, Taranto e Trani) ed è arrivato invece secondo nel 25% dei casi (Agrigento, Belluno, Brindisi, Cuneo, Gorizia e Pistoia).
Nel 2011 il modello aveva funzionato nell'82,1% dei casi (39,2% primo e 42,86% secondo).
Nel 20,8% dei casi il modello ha previsto correttamente sia il candidato più votato che quello secondo classificato, ma in altrettanti casi il modello ha fallito completamente (in alcuni di questi casi non aveva alcuna chance visto che i candidati che hanno vinto non avevano una pagina Facebook).
L'indice di accuratezza della previsione è stato di 4,875 su 10. Nel 2011 questo indice ha fatto registrare performance simili (4,71).
Vediamo invece come è andata per quanto invece riguarda il secondo modello, il cui scopo è prevedere la percentuale di voti riportati da ciascun candidato.
Il margine di errore rilevato (candidate prediction gap) varia da un minimo di 0,07% ad un massimo di 70,54% (2011 CPG MIN: 0, MAX: 84,18).
Lo scarto medio fra le percentuali di voto e quelle di Likes è stato del -7,04% ovvero del 12,76% facendo la media dei valori assoluti degli scarti. Il primo valore è un indicatore di quanto la previsione sia sbilanciata in un senso o nell'altro (+ voti che like o + likes che voti), il secondo valore indica il margine di errore effettivo. Nel 2011 il CPG medio dei valori assoluti era 15,77% e l'ABS[CPG] -6,21%. Si tratta di margini di errori molto alti che rendono il modello così com'è poco utile dal punto di vista previsionale.
I 24 comuni capoluoghi con almeno due candidati con pagina Facebook avevano 5 e 16 candidati. Il 55,87% di questi candidati aveva una pagina Facebook che è stata monitorata nell'ambito di questo studio. Il margine medio di errore rilevato per comune ovvero ABS[Municipality Prediction Gap] è 15,24% con un massimo di scarto del 35,88% (Agrigento) ed un minimo del 4,70% (Genova). Nel 2011 l'ABS[MPG] rilevato fu 18,99% con un MIN di 5,09% ed un MAX di 51,99%.
Si conferma il rapporto fra ABS[MPG] e percentuale di candidati presenti con una pagina su Facebook rispetto al totale dei candidati. L'ABS[MPG] passa dal 24,78% dei comuni con meno del 33% di candidati su Facebook all'11,89% di quello dei comuni con oltre il 66% di candidati con pagina (nella categoria 34-66% l'ABS[MPG] è di 15,11%).
Confermato anche il rapporto fra dimensione della città (in termini di numero di elettori) e margine di errore. Nelle grandi città si ottengono previsioni più accurate che in quelle più piccole. Si passa infatti da un ABS[MPG] di 17,39% delle città con meno di 80000 elettori ad un ABS[MPG] intorno al 9% tanto per le città con un numero di elettori compreso fra 80000 e 200000 sia per quelle oltre i 200000.
Per quanto riguarda gli schieramenti si è proceduto a calcolare un Party Prediction Gap (PPG). Nel 2011 tutti gli schieramenti avevano ricevuto un maggiore consenso su Facebook, rispetto alle percentuali reali di voto, ma questa tendenza si faceva più evidente in rapporto ai partiti più estremi (sinistra PPG=-11,27% e destra PPG =-8,66%). Il partito invece meno sopravvalutato dal modello risultò il Centro Destra (PPG=-1,30%). Rispetto all'edizione 2011, sono stati aggiunti due nuovi schieramenti: Terzo Polo e Lega Nord. Il primo non esisteva nel 2011 ed il secondo era accorpato al risultato del Centro Destra. Proprio questi due nuovi schieramenti sono stati quelli più sottostimati dal modello Terzo Polo (PPG=4,58%) e Lega Nord (PPG=5,56%). La Destra è invece risultato lo schieramento più sopravvalutato nelle previsioni di Facebook (PPG=-18,71%).
Se dunque si conferma un maggiore attivismo online da parte dei supporter dei partiti più estremi, si evidenzia anche l'anomalia della Lega Nord. Accorpando infatti i dati della Lega Nord con quelli del Centro Destra, quest'ultimo torna ad essere fra gli schieramenti più sopravvalutati dal modello. Questi dati potrebbero far pensare ad un incidenza dei candidati (o meglio delle strategie e supporter) Lega Nord anche sul risultato del 2011. Quello che appare evidente è che le strategie di costruzione del consenso della Lega Nord (e forse la tipologia di elettori di questo partito) non sono passate, almeno in questa occasione, per Facebook.
Per il futuro intendo provare a perfezionare il modello basato sugli scarti prendendo in considerazione solo i voti ottenuti dai candidati effettivamente presenti con una pagina su Facebook e applicando dei correttivi basati sui risultati dei PPG dei diversi schieramenti. Inoltre vorrei capire quali variabili possono influenzare il margine di errore e l'indice di accuratezza in modo da costruire un indice di affidabilità delle previsione.
I dati sono disponibili in questo Google Spreadsheet.
Da oggi ho inoltre reso pubblicamente disponibile il working paper relativo allo studio del 2011: Giglietto, Fabio, If Likes Were Votes: An Empirical Study on the 2011 Italian Administrative Elections (January 16, 2012). Available at SSRN: http://ssrn.com/abstract=1982736. Una versione ridotta di questo articolo sarà pubblicata negli atti dell'ICWSM-12.
