-
.
Negli USA una ricerca che ha parzialmente riprodotto molti esperimenti psicologici pubblicati su importanti riviste scientifiche, ha destato clamore nella comunità degli psicologi americani. Alla vicenda ha fatto da cassa di risonanza il New York Times (uno dei quotidiani più influenti negli USA e nel mondo), che ha riportato i risultati della ricerca in un articolo, che ho riportato dopo quello in italiano. Sotto accusa sarebbe il "bias di pubblicazione" (publication bias in inglese), cioè la tendenza dei ricercatori a riportare solo i dati a sostegno delle proprie aspettative e tralasciare gli altri, se si vuole escludere la lucida volontà di trovare in un esperimento ciò che si vuole "scoprire", come nel caso di Diederik Stapel, lo psicologo sociale olandese che dopo essere stato scoperto, ammise di aver falsificato i dati delle sue ricerche per ottenere visibilità mediatica e prestigio presso i suoi colleghi.
Affine a questo articolo, vedi anche: I fantasmi della psicologia per Jerome Kagan
Fonte: ilpost.it/2015/08/30/riproducibilita-studi-scientifici-psicologia/
"30 AGOSTO 2015
Molti studi scientifici non sono replicabili, dice uno studio scientifico
Almeno in psicologia: riproducendo 100 ricerche è stato possibile ottenere risultati compatibili con gli originali in poco più di un terzo
Se ci si informa riguardo le nuove scoperte scientifiche, soprattutto quelle nel campo della psicologia, sulla stampa generalista, è facile avere l’impressione che vengano pubblicati settimanalmente studi che dicano tutto e il contrario di tutto. Spesso quest’impressione è dovuta al fatto che i giornali prendono per buoni studi poco autorevoli, e che non vengono pubblicati dalle più importanti riviste scientifiche, quindi solo dopo un accurato lavoro di verifica. Giovedì, la rivista scientifica Science ha pubblicato un articolo con i risultati di una lunga ricerca condotta dal Center for Open Science, un’organizzazione non profit con sede a Charlottesville, in Virginia, che sostiene che ripetendo la maggior parte degli studi che presentano nuove scoperte nel campo della psicologia si ottengono risultati diversi da quelli originali: non sono quindi riproducibili. E quella della riproducibilità è una delle basi del metodo scientifico, da Galileo in poi: se replicando uno studio si arriva a conclusioni molto diverse, quello studio in teoria non è scientificamente valido.
Brian Nosek, professore di psicologia alla University of Virginia e direttore del Center for Open Science, ha lavorato con 270 colleghi per provare a riprodurre parti di 100 studi pubblicati nel 2008 su tre diversi e autorevoli riviste di psicologia. Gli studi erano considerati importanti per capire le dinamiche della personalità, delle relazioni, dell’apprendimento e della memoria, e sulle loro conclusioni fanno affidamento diversi metodi utilizzati da educatori e terapisti. Lavorando in 90 diversi gruppi, i ricercatori hanno riprodotto solo parzialmente gli esperimenti, perché farlo interamente sarebbe stato troppo lungo e costoso: hanno scelto però fasi dello studio originale che secondo loro erano fondamentali per confermare il risultato ottenuto. Le diverse squadre hanno anche contattato i ricercatori dello studio originale per assicurarsi di riprodurre correttamente e fedelmente l’esperimento, e poi hanno riformulato le conclusioni sostituendo ai dati originali quelli ottenuti nella loro esperienza.
Solo in 47 casi su 100 le conclusioni originali erano compatibili con quelle ottenute riproducendo l’esperimento (con un intervallo di fiducia del 95 per cento). E solo in 39 casi i ricercatori che hanno replicato l’esperimento hanno reputato, soggettivamente, di aver raggiunto le stesse conclusioni dello studio iniziale. In totale, i ricercatori hanno concluso che solo il 36 per cento degli studi riprodotti ha dato risultati statisticamente compatibili. In 82 casi su 100 – compresi quindi quelli in cui le conclusioni erano compatibili – l’entità dei risultati finali era più modesta dell’originale: è stata quindi rilevata una sorta di “tendenza all’ingigantimento”. In pochissimi casi i nuovi risultati hanno contraddetto gli originali: erano semplicemente più deboli.
Le conclusioni dello studio del Center for Open Science non sono state in nessun caso che gli esperimenti iniziali fossero manipolati o da considerarsi falsi in assoluto: il fatto è che le prove a sostegno della maggior parte delle nuove scoperte nel campo della psicologia non sono solide come vengono presentate. Una parte del problema, spiega l’Economist, è rappresentato dai meccanismi che stanno dietro le scelte editoriali delle riviste di settore: per essere pubblicato, uno studio deve superare una peer review, cioè una valutazione fatta da altri scienziati, esperti nel settore in questione. Se è giudicato idoneo e l’editore decide di pubblicarlo, può benissimo succedere che lo studio non venga mai effettivamente replicato: per i ricercatori è molto più appagante e attraente arrivare a nuove scoperte piuttosto che confermare quelle degli altri. Secondo i ricercatori che hanno riprodotto gli esperimenti comunque questo studio non è una prova del fallimento della psicologia, ma invece rappresenta un esempio di «scienza che si comporta come dovrebbe».
Nosek ha spiegato che il problema con molti nuovi studi è che tra i ricercatori c’è una grande pressione a raggiungere conclusioni così accattivanti, certe e innovative da essere pubblicate sulle riviste più prestigiose, dal momento che le loro carriere e spesso i loro finanziamenti dipendono dalle pubblicazioni. Questo porta a volte i ricercatori a trarre le conclusioni che vogliono trarre, dai propri esperimenti, adattando o interpretando i risultati realmente ottenuti. C’è però anche chi crede che la ripetizione degli esperimenti porti a degli inconvenienti: molti scienziati affermati non accettano l’idea che un ricercatore più giovane e inesperto possa mettere in dubbio il frutto di anni di ricerche. Secondo Norbert Schwarz, professore di psicologia alla University of Southern California, spesso le ripetizioni sono solo «un attacco, un esercizio poliziesco», e che gli studi che riproducono un esperimento non vengono quasi mai esaminati e valutati dal punto di vista del metodo. La direttrice di Science Marcia McNutt ha detto in una conferenza stampa che spera che questo studio «non sia considerato l’ultima parola sulla questione della riproducibilità, ma invece come un inizio».
Negli ultimi mesi alcune riviste autorevoli hanno dovuto ritirare studi dopo la pubblicazione, perché erano stati smentiti: lo scorso maggio, ad esempio, proprio Science aveva ritirato uno studio su come gli attivisti di partito che fanno propaganda politica porta a porta o per le strade possono cambiare le opinioni degli elettori sui matrimoni gay perché temeva che i dati potessero essere stati falsificati. Recentemente molti giornali autorevoli hanno cambiato gli standard di trasparenza richiesti ai ricercatori pubblicati. Alan Kraut, direttore esecutivo dell’Association for Psychological Science, ha commentato lo studio dicendo: «L’unica scoperta che sarà riproducibile al 100 per cento è quella che sarà probabilmente trita e noiosa e già nota».
Trattandosi di esperimenti nel campo della psicologia dell’individuo, comunque, molti scienziati hanno notato che le ragioni delle differenze nei risultati possono dipendere da molti fattori, compresi quelli ambientali. Uno degli studi ripetuti ad esempio sosteneva che gli studenti che bevono una bibita zuccherata prendevano decisioni migliori quando veniva chiesto loro se preferivano un grande appartamento distante dal campus universitario o uno piccolo ma vicino. L’esperimento originale però era stato condotto alla Florida State University, il secondo alla University of Virginia: e decidere dove vivere a Charlottesville, la città della Virginia dove si trova l’università, è molto più semplice che a Tallahassee, dove si trova la FSU. Nosek ha ammesso che il suo stesso esperimento sarebbe difficile da riprodurre, perché i ricercatori hanno potuto prendere decisioni personali su come riprodurre effettivamente gli esperimenti e dal momento che hanno scelto gli studi da ripetere è possibile che abbia influito anche qualche forma di pregiudizio iniziale."
-
Fonte: huffingtonpost.it/giuliana-proietti/se-i-media-parlano-troppo-di-psicologia_b_8057208.html
"Se i media parlano troppo di psicologia (e lo fanno male)
Giuliana Proietti
Pubblicato: 31/08/2015
Ci si può fidare della miriade di studi psicologici che quotidianamente vengono pubblicati e che affollano i nostri media? A volte sì, a volte no. Del resto, come ricorda il New York Times, già in passato è accaduto che affermati psicologi e ricercatori siano stati presi con le mani nel sacco, intenti a fabbricare dati a tavolino per le loro ricerche "scientifiche". Nel 2011, ad esempio, è stata la volta dello psicologo olandese Diederik Stapel, della Università di Tilburg, il quale, nella sua prolifica carriera, ha pubblicato diversi studi sulle maggiori riviste scientifiche, su argomenti quali l'effetto del potere nell'ipocrisia, gli stereotipi razziali e gli effetti della pubblicità sull'identità personale.
Almeno una decina dei suoi studi sono risultati falsi, hanno appurato gli investigatori, dopo aver intervistato ex studenti, co-autori e colleghi. I suoi studi sono stati creati per fare colpo sui media, come quello pubblicato su Science, nel quale scriveva che i bianchi hanno maggiori pregiudizi nei confronti delle persone di colore se provengono da ambienti disagiati, rispetto a chi vive in un ambiente maggiormente organizzato. In un altro studio, pubblicato nel 2009, Stapel sosteneva invece che nei colloqui di lavoro avevano maggiore successo i soggetti con un timbro di voce maschile. Il Dr. Stapel, una volta scoperto, ha scritto nel suo blog di sentirsi un fallito, come scienziato e come ricercatore, e di provare vergogna e dispiacere per le sue azioni.
Dall'indagine condotta è emerso che il Dr. Stapel aveva potuto continuare per anni la sua falsa ricerca in quanto era "Signore dei Dati": visto infatti che era considerato da tutti un accademico molto carismatico, era lui l'unica persona che aveva accesso ai dati sperimentali delle sue ricerche. Il non voler condividere i dati della ricerca è una nota dolente che si ripropone spesso: un atteggiamento del genere infatti viola le norme etiche della ricerca scientifica, ma è molto praticato. Peraltro, in un'altra ricerca pubblicata nel 2011 su PLoS One, da Wicherts, Bakker e Molenaar, è stato scoperto, non troppo sorprendentemente, che più i ricercatori si mostrano riluttanti nel condividere i dati della loro ricerca, maggiori sono le probabilità che vi siano errori nell'evidenza scientifica dei loro studi.
L'atteggiamento riservato dei ricercatori tuttavia non è, in molti casi, del tutto incomprensibile, vista l'enorme competizione che c'è nel loro ambiente e la diretta correlazione fra scoperte scientifiche e carriera personale: non tutti vorranno certo avere esperienze come quella capitata a Rosalind Franklin, la vera scopritrice della struttura del DNA, sconosciuta ai più, sebbene altri con questa sua scoperta presero perfino il premio Nobel!
Oltre che completamente false, le ricerche psicologiche possono essere correttamente effettuate, ma piene di errori nel calcolo statistico: del resto gli psicologi hanno poco a che fare con la matematica! (Vedi in proposito la ricerca di Wicherts e Bakker, sempre dell'Università di Amsterdam, che prendeva in esame 281 studi pubblicati su note riviste scientifiche: i calcoli statistici erano completamente errati nel 50% dei casi, mentre nel 15% di esse vi erano errori di calcolo minori, in particolare quando i dati ottenuti erano in contrasto con le ipotesi iniziali degli autori).
Alcuni sono arrivati a chiamare, a ragion veduta, alcune di queste ricerche psicologiche come "scienza spazzatura" o, peggio, "scienza Voodoo", specialmente dopo che anche una rivista accreditata, come The Journal of Personality and Social Psychology ha accettato di pubblicare una ricerca sulla percezione extra-sensoriale.
Più recentemente, nel Maggio 2015, è accaduto che la prestigiosa rivista Science abbia ritirato una ricerca da poco pubblicata, senza il consenso del suo autore, Michael J. LaCour, dell'Università di Los Angeles, sempre per quanto riguarda alcune irregolarità nel calcolo statistico dei dati, oltre che per alcune dichiarazioni false rese dall'autore in merito alle modalità di svolgimento dei sondaggi. In questo caso la ricerca riguardava le capacità di persuasione, che permettevano di convincere anche gli scettici alla normalità del matrimonio gay.
La situazione descritta fa molto male alla ricerca psicologica, la quale solo di recente ha ottenuto una sua credibilità in campo scientifico, seppure ancora piuttosto fragile. A peggiorare le cose arriva in questi giorni una nuova ricerca, Estimating the reproducibility of psychological science, condotta da Brian Nosek, psicologo sociale presso l'Università della Virginia, che conferma le difficoltà in cui versa il settore. Infatti, dopo aver selezionato 100 ricerche, pubblicate nel 2008 su tre delle più importanti riviste scientifiche del settore (Psychological Science, il Journal of Personality and Social Psychology, e il Journal of Experimental Psychology: Learning, Memory, and Cognition), i ricercatori hanno scoperto che il 50% di esse non sono riproducibili (come insegnò Galileo Galilei, la conoscenza della realtà può dirsi scientifica solo se è oggettiva, affidabile, verificabile e condivisibile. Tutto quello che non può essere replicato non è scientifico).
Il Reproducibility Project è iniziato nel 2011, quando Nosek e colleghi hanno reclutato 250 ricercatori e selezionato 100 studi da replicare, per accertarne la validità. I ricercatori, consci del fatto che molte possono essere le variabili che influenzano gli studi, hanno lavorato in stretta collaborazione con gli autori originali delle ricerche, in modo da poter riprodurre i loro dati il più fedelmente possibile, utilizzando perfino un numero di soggetti più ampio di quello utilizzato nelle ricerche originali, per dare al loro lavoro il massimo della significatività statistica.
Ebbene, da questa ricerca è emerso che, a differenza dei casi precedentemente citati, gli studi non sono falsi, né errati: nella maggior parte dei casi, i dati sono risultati corretti, ma con una significatività statistica ai minimi livelli. In altre parole, i risultati ottenuti sono stati largamente enfatizzati, ingigantiti, gonfiati, per sorprendere i lettori e trovare così spazio nei media.
Tra gli studi esaminati nella ricerca del Reproducibility Project ce ne è uno sul libero arbitrio: sostiene che i partecipanti che leggono un brano in cui si sostiene che il volere individuale è predeterminato tendono poi a mentire in un test. Un altro riguarda l'influenza della distanza fisica: se ai partecipanti viene chiesto di unire due punti lontani su un grafico, questo determina un attaccamento emotivo inferiore verso la propria famiglia rispetto a chi deve unire due punti più vicini, sullo stesso grafico. Un altro studio riguarda la scelta del partner, in cui le donne con maggiore attaccamento danno dei punteggi più elevati ai possibili partners se sono nel loro periodo fertile (rispetto a quando non sono fertili).
Questo tipo di ricerche psicologiche possono in effetti sorprendere per quanto sono strane, stravaganti e strampalate. Sarebbe sbagliato tuttavia pensare che esse siano ininfluenti: queste notizie, sparate sui media, contribuiscono alla conoscenza popolare della psicologia, cioè alla conoscenza che le persone hanno degli aspetti emotivi e cognitivi della personalità umana, delle dinamiche nelle relazioni interpersonali, ecc. Queste ricerche influiscono dunque sulla nostra vita, perché una volta apprese, guidano consciamente e inconsciamente le nostre scelte e diventano un punto di riferimento per i professionisti che operano in diversi settori: ad esempio, in campo scolastico o terapeutico. Per questo scoprire che queste ricerche, cui tutti diamo credito, siano "scienza voodoo" è veramente preoccupante.
Ciò che conforta è che la scienza psicologica stia facendo in realtà ciò che dovrebbe fare qualsiasi scienza esatta: cioè confutare le teorie false e sostituirle con teorie sempre più oggettive. Il solo fatto di parlarne apertamente rispecchia già un atteggiamento scientifico, e dunque va incoraggiato, anche in altri settori della ricerca.
Sarebbe ingenuo infatti pensare che questa situazione riguardi solo la psicologia: tutto quello che si è detto per la ricerca psicologica potrebbe avvenire anche in altri campi della ricerca scientifica, come sostiene il Dr. John Ioannidis, direttore dello Stanford University's Meta-Research Innovation Center, per quanto riguarda i campi della biologia cellulare, delle neuroscienze, della medicina clinica e della ricerca sugli animali (se la ricerca psicologica sugli atteggiamenti umani è importante, proviamo a pensare quanto sia importante la ricerca sul cancro...).
Voci critiche si sono levate anche nei confronti della ricerca di Nosek: chi controlla il controllore? Nel caso della ricerca di Paola Bressan dell'Università di Padova, che appare fra quelle esaminate, l'autrice si chiede ad esempio se sia corretto considerare equivalenti un campione di studentesse americane con un campione di donne italiane.
I ricercatori, in tutti i settori, lamentano la presenza di un ambiente troppo competitivo che, oltre tutto, favorisce e finanzia solo le ricerche più estrose e "sexy": i fondi pubblici e privati per chi desidera replicare i risultati sono invece scarsi o inesistenti e dunque le ricerche pubblicate e ampiamente diffuse dai media finiscono per esprimere l'ultima parola nei più vari argomenti, visto che nessuno prova a confutarle.
D'altro canto, a chi potrebbe interessare che una ricerca pubblicata sei mesi fa sia risultata falsa o parzialmente errata? I lettori sono in genere distratti ed i media, piuttosto che pubblicare sterili rettifiche, cercano piuttosto notizie "hot", in modo da attrarre un maggior numero di lettori, o di spettatori, per vendere la pubblicità.
Delle ricerche psicologiche si parla ormai nei media come si fa con gli oroscopi o il gossip sui vip, ma questo non è un bene per chi lavora seriamente. Sta dunque ai ricercatori, in primis, presentare i risultati ottenuti in modo accurato e onesto, senza esagerare le cose, senza cercare una facile notorietà. Non meno importante è un richiamo alla professionalità dei giornalisti (e di alcuni "esperti" o pseudo-tali), i quali dovrebbero fare divulgazione affrontando ogni nuovo studio con maggiore scetticismo, per cercare di capire se le ricerche pubblicate presentino o no degli aspetti di vulnerabilità (ad esempio, ricerche condotte su un campione di 30 persone non dovrebbero essere prese nemmeno in esame...). Infine, i lettori dovrebbero essere meno passivi rispetto a tutto quello che diffondono i media (Esempio tipico: "È vero, l'ha detto la tv").
Insomma, tutti partecipiamo, direttamente o indirettamente, al circo mediatico: un atteggiamento più critico da parte di tutti potrebbe essere di grande aiuto, non solo per la salute della ricerca scientifica, ma anche per la nostra salute, il nostro benessere e la qualità della nostra vita."
Edited by Saisontor - 2/2/2016, 12:38
. -
.
Riporto anche l'articolo del New York Times...
Fonte: www.nytimes.com/2015/08/28/science/...study-says.html
"Many Psychology Findings Not as Strong as Claimed, Study Says
By BENEDICT CAREYAUG. 27, 2015
The past several years have been bruising ones for the credibility of the social sciences. A star social psychologist was caught fabricating data, leading to more than 50 retracted papers. A top journal published a study supporting the existence of ESP that was widely criticized. The journal Science pulled a political science paper on the effect of gay canvassers on voters’ behavior because of concerns about faked data.
Now, a painstaking yearslong effort to reproduce 100 studies published in three leading psychology journals has found that more than half of the findings did not hold up when retested. The analysis was done by research psychologists, many of whom volunteered their time to double-check what they considered important work. Their conclusions, reported Thursday in the journal Science, have confirmed the worst fears of scientists who have long worried that the field needed a strong correction.
The vetted studies were considered part of the core knowledge by which scientists understand the dynamics of personality, relationships, learning and memory. Therapists and educators rely on such findings to help guide decisions, and the fact that so many of the studies were called into question could sow doubt in the scientific underpinnings of their work.
“I think we knew or suspected that the literature had problems, but to see it so clearly, on such a large scale — it’s unprecedented,” said Jelte Wicherts, an associate professor in the department of methodology and statistics at Tilburg University in the Netherlands.
More than 60 of the studies did not hold up. Among them was one on free will. It found that participants who read a passage arguing that their behavior is predetermined were more likely than those who had not read the passage to cheat on a subsequent test.
Another was on the effect of physical distance on emotional closeness. Volunteers asked to plot two points that were far apart on graph paper later reported weaker emotional attachment to family members, compared with subjects who had graphed points close together.
A third was on mate preference. Attached women were more likely to rate the attractiveness of single men highly when the women were highly fertile, compared with when they were less so. In the reproduced studies, researchers found weaker effects for all three experiments.
The project began in 2011, when a University of Virginia psychologist decided to find out whether suspect science was a widespread problem. He and his team recruited more than 250 researchers, identified the 100 studies published in 2008, and rigorously redid the experiments in close collaboration with the original authors.
The new analysis, called the Reproducibility Project, found no evidence of fraud or that any original study was definitively false. Rather, it concluded that the evidence for most published findings was not nearly as strong as originally claimed.
Dr. John Ioannidis, a director of Stanford University’s Meta-Research Innovation Center, who once estimated that about half of published results across medicine were inflated or wrong, noted the proportion in psychology was even larger than he had thought. He said the problem could be even worse in other fields, including cell biology, economics, neuroscience, clinical medicine, and animal research.
The report appears at a time when the number of retractions of published papers is rising sharply in a wide variety of disciplines. Scientists have pointed to a hypercompetitive culture across science that favors novel, sexy results and provides little incentive for researchers to replicate the findings of others, or for journals to publish studies that fail to find a splashy result.
“We see this is a call to action, both to the research community to do more replication, and to funders and journals to address the dysfunctional incentives,” said Brian Nosek, a psychology professor at the University of Virginia and executive director of the Center for Open Science, the nonprofit data-sharing service that coordinated the project published Thursday, in part with $250,000 from the Laura and John Arnold Foundation. The center has begun an effort to evaluate widely cited results in cancer biology, and experts said that the project could be adapted to check findings in many sciences.
In a conference call with reporters, Marcia McNutt, the editor in chief of Science, said, “I caution that this study should not be regarded as the last word on reproducibility but rather a beginning.” In May, after two graduate students raised questions about the data in a widely reported study on how political canvassing affects opinions of same-sex marriage, Science retracted the paper.
The new analysis focused on studies published in three of psychology’s top journals: Psychological Science, the Journal of Personality and Social Psychology, and the Journal of Experimental Psychology: Learning, Memory, and Cognition.
The act of double-checking another scientist’s work has been divisive. Many senior researchers resent the idea that an outsider, typically a younger scientist, with less expertise, would critique work that often has taken years of study to pull off.
“There’s no doubt replication is important, but it’s often just an attack, a vigilante exercise,” said Norbert Schwarz, a professor of psychology at the University of Southern California.
Dr. Schwarz, who was not involved in any of the 100 studies that were re-examined, said that the replication studies themselves were virtually never evaluated for errors in design or analysis.
Dr. Nosek’s team addressed this complaint in part by requiring the researchers attempting to replicate the findings to collaborate closely with the original authors, asking for guidance on design, methodology and materials. Most of the replications also included more subjects than the original studies, giving them more statistical power.
Strictly on the basis of significance — a statistical measure of how likely it is that a result did not occur by chance — 35 of the studies held up, and 62 did not. (Three were excluded because their significance was not clear.) The overall “effect size,” a measure of the strength of a finding, dropped by about half across all of the studies. Yet very few of the redone studies contradicted the original ones; their results were simply weaker.
“We think of these findings as two data points, not in terms of true or false,” Dr. Nosek said.
The research team also measured whether the prestige of the original research group, rated by measures of expertise and academic affiliation, had any effect on the likelihood that its work stood up. It did not. The only factor that did was the strength of the original effect — that is, the most robust findings tended to remain easily detectable, if not necessarily as strong.
The project’s authors write that despite the painstaking effort to duplicate the original research, there could be differences in the design or context of the reproduced work that account for the different findings. Many of the original authors certainly agree.
In an email, Paola Bressan, a psychologist at the University of Padua and an author of the original mate preference study, identified several such differences — including that her sample of women were mostly Italians, not American psychology students — that she said she had forwarded to the Reproducibility Project. “I show that, with some theory-required adjustments, my original findings were in fact replicated,” she said.
These are the sorts of differences that themselves could be the focus of a separate study, Dr. Nosek said.
Extending the project to other fields will require many adaptations, not least because of the cost of running experiments in medicine and brain science. To check cancer biology results, for instance, the Center for Open Science will have to spend far more money than was spent on psychology.
Stefano Bertuzzi, the executive director of the American Society for Cell Biology, said that the effort was long overdue, given that biology has some of the same publication biases as psychology. “I call it cartoon biology, where there’s this pressure to publish cleaner, simpler results that don’t tell the entire story, in all its complexity,” Dr. Bertuzzi said.
Correction: August 29, 2015
A picture caption on Friday with an article about the findings of the Reproducibility Project, an assessment study of 100 published psychology papers, misspelled the surname of one of the researchers involved. She is Courtney Soderberg, not Soderbergh.
A version of this article appears in print on August 28, 2015, on page A1 of the New York edition with the headline: Psychology’s Fears Confirmed: Rechecked Studies Don’t Hold Up ."
-
In seguito a questa vicenda, è stata aggiornata la voce di wikipedia in inglese sulla "crisi di replicabilità", un problema che riguarda parte degli esperimenti scientifici, specialmente in campo psicologico.
Riporto la voce in inglese (al momento non è presente in italiano), come aggiornata al 26/10/2015:
https://en.wikipedia.org/wiki/Replication_crisis
"Replication crisis
The replication crisis (or replicability crisis) a methodological crisis in science, in which scientists have found that the results of many scientific experiments are difficult or impossible to replicate on subsequent investigation, either by independent researchers, or by the original researchers themselves.[1] Since the reproducibility of experiments is an essential part of the scientific method, this has potentially grave consequences for many fields of science in which significant theories are grounded on experimental work which has now been found to be resistant to replication.
The replication crisis has been particularly widely discussed in the field of psychology (and in particular, social psychology) and in medicine, where a number of efforts have been made to re-investigate classic results, and to attempt to determine both the validity of the results, and, if invalid, the reasons for the failure of replication.[2][3] Whether similar replicability crises affect other disciplines is not clear, as other disciplines have been less proactive in investigation.
In psychology
Replication failures are not unique to psychology and are found in all fields of science.[4] However, several factors have combined to put psychology at the center of controversy. Much of the focus has been on the area of social psychology, although other areas of psychology such as clinical psychology have also been implicated.
Firstly, questionable research practices (QRP) have been identified as common in the field. Such practices, while not intentionally fraudulent, involve converting undesired statistical outcomes into desired outcomes via the manipulation of statistical analyses, sample size or data management, typically to convert non-significant findings into significant ones.[5] Some studies have suggested that at least mild versions of QRP are highly prevalent.[6] False positive conclusions, often resulting from the pressure to publish or the author's own confirmation bias, are an inherent hazard in the field, requiring a certain degree of skepticism on the part of readers.[5]
Secondly, psychology and social psychology in particular, has found itself at the center of several scandals involving outright fraudulent research, most notably the admitted data fabrication by Diederik Stapel[7] as well as allegations against others. However, most scholars acknowledge that fraud is, perhaps, the lesser contribution to replication crises.
Third, several effects in psychological science have been found to be difficult to replicate even before the current replication crisis. For example the scientific journal Judgment and Decision Making has published several studies over the years that fail to provide support for the unconscious thought theory. Replications appear particularly difficult when research trials are pre-registered and conducted by research groups not highly invested in the theory under questioning.
These three elements together have resulted in renewed attention for replication supported by Kahneman.[8] Scrutiny of many effects have shown that several core beliefs are hard to replicate. A recent special edition of the journal Social Psychology focused on replication studies and a number of previously held beliefs were found to be difficult to replicate.[9] A 2012 special edition of the journal Perspectives on Psychological Science also focused on issues ranging from publication bias to null-aversion that contribute to the replication crises in psychology[10] In 2015, the first open empirical study of reproducibility in Psychology was published, called the Reproducibility Project. Researchers from around the world collaborated to replicate 100 empirical studies from three top Psychology journals. Fewer than half of the attempted replications were successful at producing statistically significant results in the expected directions, though most of the attempted replications did produce trends in the expected directions.[11]
Scholar James Coyne has recently written that many research trials and meta-analyses are compromised by poor quality and conflicts of interest that involve both authors and professional advocacy organizations, resulting in many false positives regarding the effectiveness of certain types of psychotherapy.[12]
The replication crisis does not mean that psychology is unscientific.[13][14][15] Rather this process is a healthy if sometimes acrimonious part of the scientific process in which old ideas or those that cannot withstand careful scrutiny are pruned.[16] The consequence is that some areas of psychology once considered solid, such as social priming, have come under increased scrutiny due to failed replications.[17] The British Independent newspaper wrote that the results of the reproducibility project show that much of the published research is just "psycho-babble".[18]
Nobel laureate and professor emiritus in psychology Daniel Kahneman argued that the original authors should be involved in the replication effort because the published methods are often too vague.[19] Some others scientists, like Dr. Andrew Wilson disagree and argue that the methods should be written down in detail.
Quotes
By Diederik Stapel From the authorized english translation by Nicholas J.L. Brown available as a free download in PDF format
Clearly, there was something in the recipe for the X effect that I was missing. But what? I decided to ask the experts, the people who’d found the X effect and published lots of articles about it [..] My colleagues from around the world sent me piles of instructions, questionnaires, papers, and software [..] In most of the packages there was a letter, or sometimes a yellow Post-It note stuck to the bundle of documents, with extra instructions: “Don’t do this test on a computer. We tried that and it doesn’t work. It only works if you use pencil-and-paper forms.” “This experiment only works if you use ‘friendly’ or ‘nice’. It doesn’t work with ‘cool’ or ‘pleasant’ or ‘fine’. I don’t know why.” “After they’ve read the newspaper article, give the participants something else to do for three minutes. No more, no less. Three minutes, otherwise it doesn’t work.” “This questionnaire only works if you administer it to groups of three to five people. No more than that.” I certainly hadn’t encountered these kinds of instructions and warnings in the articles and research reports that I’d been reading. This advice was informal, almost under-the-counter, but it seemed to be a necessary part of developing a successful experiment. Had all the effect X researchers deliberately omitted this sort of detail when they wrote up their work for publication? I don’t know.
From his memoirs: "Ontsporing" (English, "Derailment") Nov. 2012
References
Jump up ^ Schooler, J. W. (2014). "Metascience could rescue the 'replication crisis'". Nature 515 (7525): 9. doi:10.1038/515009a.
Jump up ^ Gary Marcus (May 1, 2013). "The Crisis in Social Psychology That Isn’t". The New Yorker.
Jump up ^ Jonah Lehrer (December 13, 2010). "The Truth Wears Off". The New Yorker.
Jump up ^ Achenbach, Joel. "No, science’s reproducibility problem is not limited to psychology". The Washington Post. Retrieved 10 September 2015.
^ Jump up to: a b Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). "False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant". Psychological Science (Washington DC: Association for Psychological Science) 22 (11): 1359–1366. doi:10.1177/0956797611417632. ISSN 0956-7976. PMID 22006061. Retrieved 29 January 2012.
Jump up ^ "Questionable Research Practices Surprisingly Common"
Jump up ^ "Fraud Scandal Fuels Debate Over Practices of Social Psychology: Even legitimate researchers cut corners, some admit"
Jump up ^ "A New Etiquette for Replication". scribd.com/doc/225285909/Kahneman-Commentary
Jump up ^ [1]
Jump up ^ [2]
Jump up ^ Open Science Collaboration (2015). "Estimating the reproducibility of Psychological Science". Science 349 (6251): aac4716. doi:10.1126/science.aac4716.
Jump up ^ [3]
Jump up ^ slate.com/articles/health_and_science/science/2014/07/replication_controversy_in_psychology_bullying_file_drawer_effect_blog_posts.single.html
Jump up ^ fivethirtyeight.com/datalab/psychology-is-starting-to-deal-with-its-replication-problem/
Jump up ^ fivethirtyeight.com/features/science-isnt-broken/
Jump up ^ "Psychology's replication drive: it's not about you"
Jump up ^ "Power of Suggestion"
Jump up ^ Connor, Steve (27 August 2015). "Study reveals that a lot of psychology research really is just 'psycho-babble'". The Independent (London).
Jump up ^ theguardian.com/science/head-quarters/2014/jun/10/physics-envy-do-hard-sciences-hold-the-solution-to-the-replication-crisis-in-psychology ". -
Edoardo Savoldi.
User deleted
Guarda hai toccato un tema importantissimo e che mette spesso in dubbio anche me. Ho lavorato in univeristà e ti dico che spesso le bibliografie venivano fatte soltanto copiando quelle dei libri stessi da cui si prendevano citazioni. Cosa vuol dire:
- che io cito il libro "pinco pallo" per fondare quello che io dico
- come bibliografia copio quella del libro "pinco pallo"
Così diventa una catena di Sant'Antonio tale per cui nessuno a letto veramente quelle centinaia di libri ma si palleggiano e si referenziano le cose che diciamo noi psicologi con altre cose dette da altre senza un fondamento, esperienziale.....
Le ricerche della psicologia sperimentale sono scientificamente attendibili? Crisi di fiduciaMessa in dubbio l'attendibilità di esperimenti e studi in ambito psicologico e soprattutto nella psicologia sociale |
