IL SENTIERO DELLA RICERCA
Metodologie e tecniche della ricerca psico-sociale
di Giulia Virtù

SULLA VALIDITA' DI UN LAVORO SCIENTIFICO PUBBLICATO: CON CHE PARAMETRI VALUTARLO

Share this
5 marzo, 2020 - 10:57
di Giulia Virtù


“Certo che è vero! L’hanno pubblicato su ***”. Quante volte abbiamo sentito questa affermazione? Tante, forse troppe.

Tutte le volte che è successo a me, questa frase ha avuto il potere di catapultarmi nel passato: ecco mia nonna che, nel tinello di una vecchia casa di periferia, scuote la testa di fronte al mio scetticismo e mi ripete risoluta: “Certo che è vero! L’hanno detto alla televisione”.

Cambiano i tempi, ma non la sostanza.

 

Un oceano di pubblicazioni

Attualmente la banca dati di PubMed1 contiene oltre 25 milioni di citazioni bibliografiche (tra articoli e libri) e si stima che queste cifre aumentino ogni anno. Basti pensare che ogni settimana vengono inseriti in Medline 12.000 nuovi articoli2 di ambito esclusivamente medico.

Quantità però non è sinonimo di qualità.

Senza dubbio la pressione a pubblicare, per i ricercatori che inseguono il sogno di una carriera accademica, è altissima e, inevitabilmente, finisce col peggiorare la qualità della ricerca. A questo semplice fatto si aggiunge il fenomeno delle pubblicazioni predatorie, che è una piaga in aumento e una delle più serie minacce per la scienza contemporanea. Si tratta di “vanity press”: un mercato editoriale scientifico dove chiunque, a fronte di un pagamento, può pubblicare un articolo. Lo scopo? Far lievitare il proprio indice di citazioni.

Il vero problema resta la qualità degli studi prodotti e pubblicati. In uno studio del 2006, ma ancora attuale, William Miser, medico e ricercatore dell’Ohio State University, analizzando tutti gli articoli in ambito medico e sanitario pubblicati fino ad allora, verifica come meno del 15% di essi siano stati in qualche modo utili per la pratica clinica e come, nonostante sia un trend in miglioramento, il punteggio medio di qualità per i trial clinici sia inferiore alla sufficienza3.

Alla luce di tutto questo appare evidente la difficoltà nel dirigere la propria rotta nell’oceano insidioso delle pubblicazioni scientifiche. Non basta più dire “È stato pubblicato su ***”.

Come facciamo a essere sicuri che l’articolo che stiamo leggendo sia un buon articolo scientifico delle cui conclusioni ci possiamo fidare? Come fare per distinguere tra un articolo scientifico di non buona qualità e uno metodologicamente corretto? Quanto possiamo basare il nostro comportamento futuro rispetto a ciò che abbiamo letto?

 

La definizione di lettura critica

La risposta a queste domande può derivare dalla lettura critica dell’articolo scientifico. La lettura critica può essere definita, parafrasando l’enciclopedia Treccani, come “l’applicazione di regole oggettive a uno studio per valutarne la validità dei dati, la completezza, i metodi, le procedure, le conclusioni, il rispetto dei principi etici e l’indipendenza dei contenuti”4 .

Ognuno dovrebbe essere in grado di applicare il proprio spirito critico, senza confondere l’autorevolezza della rivista o degli autori con l’autorevolezza dell’articolo sotto esame. Non è detto infatti che un articolo sia un buon articolo solo perché viene pubblicato su una delle più importanti riviste al mondo. Anche i lavori pubblicati sul New England Journal of Medicine, su JAMA o su Lancet possono in realtà avere difetti di vario genere5. Forse in tal senso l’esempio più famoso è lo studio pubblicato da Lancet che metteva in relazione vaccini e autismo6, e che riportava dati falsi7.

La sfida, quindi, è di riuscire a distinguere il grano dal loglio usando un setaccio che sia adeguato a far passare soltanto gli studi che meritano di essere letti e fatti propri8.

La struttura di un paper scientifico

Prima di cominciare è necessario precisare che ogni sezione di un articolo scientifico può fornire informazioni importanti per valutarne l’attendibilità e il valore specifico

Dal punto di vista del metodo scientifico la struttura di un articolo può essere così riassunta:



Sezione dell’articolo scientifico

Metodo scientifico

 

 

Introduzione

Porsi una domanda

 

Condurre ricerche sulla letteratura sul tema(background)

 

Costruire un’ipotesi da sottoporre al metodo scientifico

 

 

Metodi

Come sottoporre l’ipotesi a test

 

 

Risultati

Raccolta dei dati e loro presentazione

 

 

Discussione e conclusioni

Analisi dei dati e conclusioni tratte

 

 

9

Per quanto riguarda invece la composizione e gli obiettivi di ogni sezione:




Sezione

Scopo

Rilevanza per la lettura critica

 

 

 

Titolo

Identifica l’oggetto dell’articolo

Fornisce informazioni sulla rilevanza dell’articolo rispetto ai propri interessi. Per un ulteriore approfondimento è necessario leggere l’abstract

 

 

 

 

 

 

 

 

 

 
     

Autori

Identifica chi ha fatto il lavoro e dove è stato svolto

Chi ha fatto il lavoro non ènecessariamente un dato rilevante; questo non toglie che sapere che lo studio è stato svolto all’Università del Mago Houdini potrebbe essere di una qualche rilevanza.

 

 

 

     
     
     

Abstract

Sintetizza l’articolo fornendo i punti chiave

Consente di determinare la rilevanza e di identificare rapidamente i dati importanti. Da solo però non permette una valutazione critica esaustiva.

   
     
     
     
     
     

Introduzione

Indica il background sul quale si inserisce il lavoro, identifica i punti ancora oscuri o dubbi sull’argomento presenti nella letteratura sul tema.Giustifica perché la ricerca presentata sia rilevante e pone l’ipotesi da vagliare nello studio

Contribuisce alla credibilità del lavoro, chiarendo la necessità di condurre la ricerca

 

   
   

 

 

 

 

     
     

 

 

 

Metodi

Descrive il disegno dello studio e i metodi usati

Si tratta di una sezione molto importante per quanto riguarda la valutazione critica. La lettura dei metodi consente di capire se la ricerca è stat condotta correttamente o presenta dei bias (cioè errori metodologici) che possono aver influenzato i risultati

 

 

 

     
     
     
     
     
     

 

 

 

Risultati

Riporta i risultati che sono stati ottenuti. I risultati possono essere quantitativi (numeri) o qualitativi (osservazioni e/o descrizioni) a seconda del disegno dello studio e dei dati raccolti.

Anche questa è una sezione molto interessante per condurre una valutazione critica. I risultati, infatti, ci permettono innanzitutto di capire se rispondono alla domanda di partenza e poi se sono illustrati in maniera attendibile o tendenziosa. Spesso sono dati che vengono messi a disposizione del lettore perché lui stesso possa trarre le medesime conclusioni.

 

 
   
     
     
   
     
     
   

 

Discussione

Fornisce l’interpretazione degli autori della ricerca, inserendola nell’ambito della letteratura sul tema e sottolineandone la rilevanza ai fini di una maggiore comprensione dell’oggetto di studio.

Ai fini di una lettura critica sarebbe preferibile che ogni lettore traesse da sé le conclusioni prima di lettere quanto riportato dagli autori.

 
   
     
     
     
 

 

 

Limiti

Questa sezione non sempre è presente, a volte è contenuta nella discussione, aiuta a capire quali sono i difetti dello studio. Del resto, nessuno meglio degli autori potrebbe essere in grado di identificarli.

Aiuta il lettore nel comprendere i punti deboli e della ricerca e rende lo studio più affidabile.

     
   
   
     
     
 

 

 

Conclusioni

A volte vengono inserite nella sezione “Discussione”: forniscono il messaggio chiave che gli autori vogliono trasmettere.

Anche in questo caso si tratta di una interpretazione soggettiva degli autori e, come tale, va sottoposta a giudizio critico

     
     
   

 

   

 

Conflitti d’interesse

Indica se i singoli autori hanno o meno conflitti d’interesse e di che tipo sono.

Questa sezione, generalmente scritta in caratteri minuti e situata in fondo agli articoli è però di capitale importanza: la presenza di conflitti di interessa, infatti, potrebbe portare a conclusioni inaffidabili, in particolare se la ricerca riguarda l’efficacia di farmaci o presidi.

 

 

 

 

 

 

   
     

Bibliografia

Fornisce le fonti in letteratura delle affermazioni fatte

Consente di poter a propria volta leggere gli articoli indicati e di vagliare le citazioni e la loro rielaborazione all’interno del contesto del nuovo articolo.

 

 

 
     
     
     

La sezione del Metodi è senza dubbio la più ostica e controversa da comrendere e da leggere criticamente. Nel dettaglio:

  • in primo luogo, è necessario capire quale sia il disegno di studio adottato e se sia adeguato a rispondere alla domanda di ricerca (ad es. uno studio controllato o randomizzato, doppio cieco, per valutare l’efficacia di un trattamento farmacologico è perfetto, uno studio di coorte molto meno). Inoltre, anche i disegni di ricerca stessi, hanno una loro forza intrinseca (nella figura sono elencati alcuni disegni disposti gerarchicamente in base alla piramide delle prove di efficacia)10

     

Figura 1 Immagine tratta da " ResearchGate" by Dale Hattis11

  • il secondo parametro fondamentale di cui tenere conto è il campione. Bisogna valutarne la numerosità, ma anche la significatività in base al disegno di ricerca. Il numero è rilevante, ma va concepito sulla base dell’indagine. Per semplificare: uno studio su 50 pazienti con una malattia rara è uno studio di grosse dimensioni per la casistica, mentre uno studio con un campione della medesima numerosità per valutare alcune caratteristiche del comune diabete di tipo II che colpisce la popolazione anziana è uno studio minuscolo.

Inoltre, è fondamentale capire come sono stati arruolati i partecipanti. Il campione è stato randomizzato? Ci sono stati dei criteri di scelta o di esclusione? È stata applicata la cecità?

 

  • vanno analizzati criticamente gli strumenti utilizzati per la raccolta dati

  • va tenuto conto della presenza di eventuali fattori di confondimento rispetto ai quali i dati sono stati corretti e/o aggiustati12

     

In conclusione, nella lettura di un articolo scientifico occorre un po’ di malizia, sia per comprendere la buona fede di alcuni ricercatori che tendono a “magnificare” i risultati ottenuti dopo anni di duro lavoro, sia per imparare a riconoscere i possibili trabocchetti statistico/linguistici che altri, più scaltri, utilizzano nel condurre la ricerca e nel presentare i risultati.
Nel prossimo articolo “Mentire con i numeri” mi soffermerò su di essi, facendo riferimento, in particolare a: la scelta di enfatizzare risultati poco rilevanti ma statisticamente significativi, le modalità tendenziose di presentazione dei risultati, le analisi condotte al termine dello studio e non previste nel disegno iniziale, la mancata pubblicazione degli studi con esito negativo e, in ultimo, le vere e proprie frodi scientifiche

NOTE
 

1 http://www.ncbi.nlm.nih.gov/pubmed

2 Glasziou P. Information overload: what’s behind it? Med J Aust 2008;189:84-5

3 Miser W. Finding truth from the medical literature: how to critically evaluate an article. Prim care Clin Office Pract 2006:839-62

4 http://www.treccani.it/enciclopedia/critica_%28Enciclopedia-Italiana%29/

5 http://www.ordinemediciperugia.it/index.php/component/phocadownload/category/51?download=690:manuale-corso-ecm-la-lettura-critica-dell-articolo-scientifico

6 Wakefield A, Murch S, et al. Ileal lymphoid nodular hyperplasia, non-specific colitis, and pervasive developmental

disorder in children [retracted].Lancet1998;351:637-41.

7 Godlee F. Wakefield’s article linking MMR vaccine and autism was fraudulent. Brit Med J 2011;342:bmj.c7452

8 http://www.ordinemediciperugia.it/index.php/component/phocadownload/category/51?download=690:manuale-corso-ecm-la-lettura-critica-dell-articolo-scientifico

9 http://www.ordinemediciperugia.it/index.php/component/phocadownload/category/51?download=690:manuale-corso-ecm-la-lettura-critica-dell-articolo-scientifico

10 Murad MH, Asi N, Alsawas M, et alNew evidence pyramidBMJ Evidence-Based Medicine 2016;21:125-127.

11 Options for basing Dietary Reference Intakes (DRIs) on chronic disease endpoints: report from a joint US-/Canadian-sponsored working group - Scientific Figure on ResearchGate. Available from: https://www.researchgate.net/figure/Hierarchy-of-evidence-pyramid-The-py... [accessed 4 Mar, 2020]

12 Greenhalgh T. How to read a paper: How to read a paper: Statistics for the non-statistician. I: Different types of data need different statistical tests. Brit Med J 1997;315:364.

 

 
> Lascia un commento



Totale visualizzazioni: 517