I più comuni errori della ricerca scientifica

 Svolgere uno studio di ricerca non è assolutamente facile: richiede personale specializzato, ricerca bibliografica, confronti interdisciplinari, moltissime prove, controlli, verifiche dei risultati e delle opportune attrezzature (nonché denaro).

Fig. A. Metodi per valutare l'affidabilità di una prova sperimentale. [7]

Ma, nonostante tutte le procedure seguite durante la sperimentazione, possono comunque sfuggire degli errori.
Nella definizione di science misconduct rientrano sia gli sbagli commessi in buona fede che gli atti fraudolenti come falsificazione dei dati e appropriazione del lavoro di colleghi [1].

Quanto spesso gli scienziati manipolano volontariamente i risultati? Uno studio che raccoglie diverse valutazioni di science misconduct, Fanelli 2009, ha calcolato che circa il 2% degli scienziati ha alterato o creato i dati delle proprie pubblicazioni almeno una volta, e che oltre un terzo degli intervistati ha cambiato dei grafici o delle metodiche sperimentali. Specifica che, trattandosi di auto-denunce, i valori restituiti da questi studi potrebbero essere sottostimati, sebbene siano anonime; questo si deve soprattutto all'importanza di una reputazione di onestà all'interno dell'ambiente scientifico [2]. I motivi per la falsificazione scientifica sono diversi: possono derivare dalla pressione ricevuta per pubblicare di più, dalla promessa di incentivi, dalle ambizioni, o da motivi economici [2, 3, 4]. Dopotutto, quei pochi scienziati non sono né migliori né peggiori rispetto ad altri pochi esseri umani di qualsiasi categoria, di cui si possono citare talvolta celebri esempi di plagiarismo o truffe [5].

Cosa impedisce che vengano pubblicati questi articoli? Innanzitutto, il comportamento etico da parte dei colleghi. Negli studi sulla science misconduct, circa il 30% di coloro che hanno sospettato il perpetrarsi di frodi da parte di altri ha denunciato l'accaduto a superiori e/o colleghi [2]. Inoltre, per evitare sia gli errori che le falsificazioni, prima della pubblicazione i paper scientifici devono essere sottoposti ad una procedura denominata peer-to-peer reviewing, in cui degli scienziati del campo esamineranno l'articolo in questione per verificare che sia tutto in regola. Questo processo è generalmente blind (in cieco), cioè anonimo, così che il giudizio del revisore sia più obiettivo (poiché non influenzato dai nomi che propongono l'articolo): molto importante, dal momento che l'esito della revisione può persino bocciare la pubblicazione dell'articolo in questione. Un metodo non perfetto, perché il revisore può essere più ignorante di chi scrive (ed è un problema soprattutto quando anche la revisione avviene in cieco, cfr. [6]), ma che nella maggior parte dei casi impedisce che vengano pubblicati articoli mal fatti o senza senso, come alcuni, le cui parole sono messe insieme tramite degli algoritmi, che sono stati sottoposti all'attenzione di riviste anche importanti [4].

Una volta che l'articolo è stato reso fruibile a tutti, vi sono altri filtri che possono individuare errori: primo fra questi, la lettura da parte di altri scienziati, che su basi scientifiche possono criticare lo studio. Un altro, ancor più importante, è la ripetizione dell'esperimento da parte di altri team scientifici: questo è uno dei fondamenti del metodo scientifico, ed il motivo per cui in ogni articolo che si rispetti vanno inseriti materiali e metodi. Se lo studio è stato svolto correttamente, infatti, a parità di condizioni si dovrebbero ottenere gli stessi risultati [7].

Perché tutte queste complicazioni? Perché la scienza dev'essere onesta ed affidabile [8], affinché tutti - gli scienziati stessi e la società intera - possano trovarvi dei punti di riferimento, mattoni su cui costruire strutture, legislazioni, accordi, cultura eccetera. Errare humanum est, ma gli errori commessi in un sistema scientifico vengono individuati e corretti al più presto.

Che errori? Vi elenco quelli più comuni e rilevanti.

Errori di campionamento.

Perché uno studio abbia una rilevanza scientifica deve essere anche statisticamente significativo, cioè non consentire margine di errore dovuto a casualità o errori di campionamento [7]. Ideale sarebbe poter sempre effettuare un censimento (ovvero prendendo in esame la popolazione intera), ma questo è spesso impossibile. Allora si va a selezionare un gruppo di individui (o strumenti, o prove, ecc.) sufficientemente numeroso, ripartito in modo da rispecchiare equamente quello si vuole esaminare (ad esempio, i sessi 50:50): si dice che il campione dev'essere rappresentativo [9]. Questo implica molte considerazioni, che però talvolta vengono sottovalutate, più o meno volontariamente.
Ad esempio, un campione troppo ristretto, nel caso in cui si effettui una comparazione fra due diversi strumenti, dà più facilmente risultati di equivalenza, in cui cioè i due strumenti sembrano essere ugualmente efficaci [10]. La valutazione del numero di soggetti da testare dipende dal tipo di esperimento da effettuare, e quindi è consigliabile svolgere anticipatamente una ricerca sulla letteratura in merito [10].
Il tipo di campione influenza a sua volta moltissimo l'esito dello studio. E' importante quindi anche specificare i criteri in base ai quali certi soggetti sono stati inclusi o esclusi, per fruizione dei futuri ricercatori e perché la scelta di alcuni individui piuttosto che altri potrebbe influire sul risultato [10].
Dalla ricerca risulta che il miglior modo di reclutare soggetti, nel caso di studi su persone, è via telefono [10]. Tuttavia bisogna porre attenzione: coloro che si comportano in modo più piacevole sono probabilmente più amichevoli, e questo rende il campione meno vario rispetto a quello che potrebbe servire per la ricerca [9].

Sicuramente è consigliabile anche in questa fase (oltre che in quella dei metodi) consultare degli statisti [10]. Per un approfondimento sugli errori statistici nelle ricerche: Strasak, Zaman et al., 2007. "Statistical errors in medical research—a review of common pitfalls". Swiss. Med. Wkly 137:44–9.

Letteratura.

La letteratura (ovvero gli articoli precedentemente pubblicati sull'argomento) è fondamentale per fornire delle basi teoriche allo studio da svolgere. E' ancor più importante, dunque, che venga esaminata approfonditamente e soprattutto criticamente: ad esempio, va compreso se certi studi sono già stati effettuati e come, per ottenere risultati nuovi o migliori [7]. Inoltre bisogna porre attenzione al fattore attendibilità (di cui parlerò più sotto).

Fig. B. Esempio di processo di selezione degli articoli di letteratura da utilizzare [2].

Errori in materiali e metodi.
Questa sezione dell'articolo scientifico è molto importante per la riproducibilità dell'esperimento: deve quindi includere tutte le informazioni che consentano di replicare lo studio.
Come segnalato da Clark e Mulligan 2011, raramente vengono specificati gli errori dati dagli strumenti e il modo in cui essi sono stati calibrati. Come il periodico allenamento di coloro che effettuano i test, questo aspetto è importante per ridurre l'imprecisione, e quindi incide in modo significativo sul risultato [10].
E' importantissimo, come segnalato da Clark e Mulligan 2011, possedere già un protocollo scritto e verificato da scienziati esperti nella ricerca, in modo da poterlo consultare via via.   
Un altro errore comune è quello di non effettuare le prove in cieco [10], ovvero facendo sì che i ricercatori siano all'oscuro di quando, ad esempio, stanno fornendo ad un paziente di un trial clinico un farmaco nuovo oppure il farmaco vecchio. In tal caso, è importante che anche i soggetti non siano a conoscenza del tipo di farmaco che ricevono: si è visto che sono sensibili all'Hawthorne effect, ovvero alla tendenza di soddisfare le aspettative del ricercatore [10]. In generale, si applica 


Risultati e conclusioni.
Non è raro trovare articoli in cui le assunzioni statistiche (come la significatività e la direzionalità dei risultati) sono piuttosto superficiali: questo può dare adito a dubbi sulla precisione dello studio, e in effetti in alcuni casi si è visto un risultato diverso quando non si è considerato propriamente questo calcolo [10].
Altro fattore da non sottovalutare (che può anche compromettere la pubblicazione) è la presentazione dei punti deboli della propria ricerca [10]. 
E' sempre importante ricordare, inoltre, che associabilità non prova causalità [10]. Ad esempio, c'è una correlazione di circa il 99% fra il numero di divorzi nel Maine e la consumazione pro capite di margarina (fig. C): chiaramente non c'è alcuna causalità fra le due cose, nonostante la correlazione quasi perfetta (fonte e altri esempi: [11]).

Fig. C. Grafico che correla il tasso dei divorzi nel Maine e il consumo pro capite di margarina. [11]

Errori di sintassi o grammatica.

Queste sviste sono comprensibili, dal momento che praticamente tutti gli articoli scientifici vengono scritti in inglese e non è detto che tutti gli scienziati possiedano un'ottima padronanza della lingua. Tuttavia errori di questo tipo (soprattutto se frequenti e/o presenti all'interno di un articolo già pubblicato) dovrebbero far riflettere: la poca attenzione alla forma è una spia che indica poca attenzione anche sul piano del contenuto [12]. In generale è anche indizio del fatto che ci si potrebbe trovare di fronte ad una notizia falsa (cfr. questo mio articolo).

Errori nel linguaggio scientifico.
Tali sbagli sono molto meno accettabili. E' un esempio diffuso di questo tipo di errori quello di trarre conclusioni circa quanto si è dimostrato con il proprio articolo scientifico [10]. Il metodo scientifico, infatti, prevede che si valuti un'ipotesi, che potrà essere accettata o scartata, ma con ben poca sicurezza fino a prova contraria [10].

In tutto questo, come si fa a capire l'attendibilità di un articolo? Come si può essere sicuri che qualcosa che viene presentato come scientifico lo sia effettivamente? Esistono dei parametri per scoprirlo.
La valutazione va effettuata innanzitutto sulla rivista. Quelle più prestigiose, in generale, sono anche quelle più affidabili. Per valutare l'importanza di queste si utilizzano diversi indici; il più significativo fra questi è l'impact factor (IF), il quale calcola, grossomodo, la quantità di citazioni che hanno ricevuto gli articoli di una certa rivista in un periodo recente [13]. Si possono trovare gli IF delle riviste sul sito Web Of Science, al quale è necessario iscriversi (gratuitamente) o accedere con mail istituzionale (se si appartiene ad una università), e così si potrà cercare, per argomento, quale rivista sia la più affidabile. A me non funzionava (mi dava errore all'accesso, cominciamo bene...), così ho trovato un altro sito per cercare IF: Scijournal.org. Qui potete inserire l'argomento che vi interessa e ottenere l'elenco di tutte le riviste che se ne occupano, oppure cercare (sempre tramite finestrella di ricerca) direttamente il nome della rivista di vostro interesse: potrete vedere i suoi IF per anno. Ad esempio io ho cercato Nature, e il risultato mi mostra un impact factor pari a circa 40 per gli anni 2016-2017: impressionante, considerato che l'IF è generalmente molto più basso (potete farvene un'idea consultando la lista completa degli IF 2018, che trovate a questo link di Researchgate). In effetti Nature è fra le riviste scientifiche più famose, e di conseguenza gode di maggiore controllo dovuto alle maggiori letture: diciamo che è più probabile che qualcuno individui errori poiché il numero di lettori è grande.

L'impatto di un autore, invece, viene calcolato tramite lo h-index (indice di Hirsch), che misura la quantità e la qualità dei suoi lavori basandosi sulle citazioni che questi hanno ricevuto [14]. Non è completamente affidabile, poiché è stato misurato soltanto sui lavori dal 1996 in poi e vi sono diversi casi di omonimia [14].

Insomma, la scienza richiede moltissimo lavoro, esperienza, e grande integrità, per le sue caratteristiche che lo espongono a errori frequenti e molta pressione. Fortunatamente si tratta di un sistema in continuo rinnovamento e soggetto a forti controlli, in modo da poterci garantire (quasi) la certezza di ciò che diffonde. 

da oggi (23/07/2018) anche su Searing Science.

Fonti:
[1] Enago.com, 2018. "10 Types of Scientific Misconduct". https://www.enago.com/academy/10-types-of-scientific-misconduct/
[2] Fanelli, 2009. "How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data". PLoS One 4(5):e5738. DOI:  10.1371/journal.pone.0005738  
[3] Enago.com, 2018. "How Research Institutes Should Promote Ethical Behavior". https://www.enago.com/academy/research-institutes-promote-ethical-behavior/
[4] Lott, 2014. "Over 100 published science journal articles just gibberish". http://www.foxnews.com/science/2014/03/01/over-100-published-science-journal-articles-just-gibberish.html
[5] Price, 2005. "The great betrayal Fraud in science". J. Clin. Invest. 115(2). DOI: 10.1172/JCI24343.
[6] Huang, 2013. "When peers are not peers and don't know it: The Dunning-Kruger effect and self-fulfilling prophecy in peer-review". Bioessays 35(5):414-6. DOI: 10.1002/bies.201200182.
[7] Drost, 2011. "Validity and Reliability in Social Science Research". Edu. Res. Persp. 38(1):105-123

[8] Committee on Science, Engineering, and Public Policy; National Academy of Sciences; National Academy of Engineering; Institute of Medicine, 2009. "On Being a Scientist: A Guide to Responsible Conduct in Research: Third Edition". The National Academies press.  ISBN-13: 978-0-309-11970-2. DOI: 10.17226/12192

[9] Qualtrics, 2010. "5 Common Errors in the Research Process". https://www.qualtrics.com/blog/5-common-errors-in-the-research-process/

[10] Clark G. T. & Mulligan R., 2011. "Fifteen common mistakes encountered in clinical research". J. Prosth. Res. 55 1:1-6. DOI: 10.1016/j.jpor.2010.09.002
[11] Tyler Vigen (fonte dati: CDC). http://www.tylervigen.com/spurious-correlations

[12] Kruger & Dunning, 1999. "Unskilled and unaware of it: How difficulties in recognizing one's own incompetence lead to inflated self-assessments." J. Pers. Soc. Psychol., 77(6):1121-1134. DOI: 10.1037/0022-3514.77.6.1121
[13] Università di Pavia. "Impact Factor (IF)". http://biblioteche.unipv.it/home/risorse/indicatori-bibliometrici/impact-factor-if

[14] Università di Bologna. "Indice H". http://sba.uniurb.it:8080/Biblioteca%20Scientifica/biblioteca-area-scientifica/ricerca-didattica/indicatori-bibliometrici/indice-h