Kiel Sciencistoj Povas Ĉesi Trompi Pri Statistikoj

Ekscita artikolo de Dorothy Bishop aperis en naturo 584: 9 (2020); doi: 10.1038 / d41586-020-02275-8

Kolekti simulitajn datumojn povas malkaŝi oftajn manierojn, per kiuj niaj kognaj antaŭjuĝoj erarigas nin.


Multaj klopodoj estis faritaj dum la pasinta jardeko por antaŭenigi fortikan kaj kredindan esploradon. Iuj fokusas pri ŝanĝado de instigoj, kiel ŝanĝado de financaj kaj publikigaj kriterioj, por favori malferman sciencon super sensaciaj progresoj. Sed atento devas esti ankaŭ atentata al la individuo. Tro homaj kognaj antaŭjuĝoj povas konduki nin vidi rezultojn, kiuj ne ekzistas. Misa rezonado kondukas al malzorgema scienco, eĉ kiam la intencoj estas bonaj.

Kelkaj vortoj pri la aŭtoro:  

Profesoro Dorothy Bishop


Profesoro pri Disvolva Neŭropsikologio, Fako de Eksperimenta Psikologio; Ulo de St. John's College


Profesoro Bishop esploras lingvajn difektojn ĉe infanoj. En iuj kazoj, parolaj malfacilaĵoj havas evidentan kaŭzon, kiel aŭdperdo aŭ kondiĉo kiel la sindromo de Down. En aliaj kazoj, infanoj havas specialan malfacilecon lerni paroli aŭ kompreni lingvon sen ŝajna kialo. Profesoro Bishop studis infanojn kun "specifaj parolmanieroj", aŭ SLI, kiuj konsistigas ĉirkaŭ 3% de la loĝantaro sed emas esti neglektataj de esploristoj. Uzante ĝemelajn studojn, ŝi studis la genetikajn erojn de ĉi tiuj malordoj kaj laboris kun molekulaj genetikuloj por ekscii, kiuj genoj estas implikitaj. Fonta bildo: Vikipedia


Kiel Sciencistoj Povas Ĉesi Trompi Pri Statistikoj

Multaj klopodoj estis faritaj dum la pasinta jardeko por antaŭenigi fortikan kaj kredindan esploradon. Iuj fokusas pri ŝanĝado de instigoj, kiel ŝanĝado de financaj kaj publikigaj kriterioj, por favori malferman sciencon super sensaciaj progresoj. Sed atento devas esti ankaŭ atentata al la individuo. Tro homaj kognaj antaŭjuĝoj povas konduki nin vidi rezultojn, kiuj ne ekzistas. Misa rezonado kondukas al malzorgema scienco, eĉ kiam la intencoj estas bonaj.

Esploristoj devas pli konscii pri ĉi tiuj kaptiloj. Same kiel laboratoriaj sciencistoj ne rajtas trakti danĝerajn substancojn sen sekureca trejnado, esploristoj ne rajtas akiri ie ajn proksime de P-valoro aŭ simila statistika probabla mezuro, ĝis ili montros, ke ili komprenas, kion ĝi signifas.

Ni ĉiuj emas preteratenti pruvojn, kiuj kontraŭas niajn vidpunktojn. Fronte al novaj datumoj, niaj antaŭekzistaj ideoj povas gvidi nin vidi strukturojn ne ekzistantajn. Ĉi tio estas formo de konfirma antaŭjuĝo, kie ni serĉas informojn kaj memoras informojn, kiuj kongruas kun tio, kion ni jam pensas. Ĝi povas esti adaptebla: homoj devas povi forigi gravajn informojn kaj agi rapide por eliri el danĝero. Sed ĉi tiu filtrado povas konduki al sciencaj eraroj.


La mezurado de la ŝarĝo de la elektrono fare de fizikisto Robert Millikan en 1913 estas ekzemplo de tio. Kvankam li asertis, ke lia laboro inkluzivas ĉiujn datumajn punktojn de sia fama oleoguta eksperimento, liaj kajeroj malkaŝis aliajn, neraportitajn datumajn punktojn, kiuj ŝanĝus la finan valoron nur iomete, sed donus al li pli grandan statistikan eraron. Estis debato pri tio, ĉu Millikan intencis erarigi siajn legantojn. Tamen ne malofte honestaj homoj subpremas memorojn pri maloportunaj faktoj (RC Jennings Sci. Eng. Ethik 10, 639-653; 2004).

Alia speco de limigo antaŭenigas miskomprenojn pri verŝajneco kaj statistikoj. Ni delonge scias, ke homoj malfacile ekkomprenas la necertecon asociitan kun malgrandaj specimenoj (A. Tversky kaj D. Kahneman Psychol. Bull. 76, 105-110; 1971). Kiel aktuala ekzemplo, ni supozu, ke 5% de la loĝantaro estas infektita de viruso. Ni havas 100 hospitalojn, kiuj testas po 25 homojn, 100 hospitalojn, kiuj testas 50 homojn, kaj 100, kiuj testas 100 homojn. Kiu procento de hospitaloj ne trovos kazojn kaj erare konkludos, ke la viruso malaperis? La respondo estas: 28% de la hospitaloj, kiuj testas 25 homojn, 8% de la hospitaloj, kiuj testas 50 homojn, kaj 1% de la hospitaloj, kiuj testas 100 homojn. La averaĝa nombro de kazoj detektitaj de hospitaloj estas la sama sendepende de la nombro de kazoj provitaj, sed la gamo estas multe pli granda kun malgranda specimeno.

Ĉi tiun nelinian skalon malfacilas kompreni intuicie. Ĝi kondukas al subtaksado de kiom bruaj malgrandaj specimenoj povas esti kaj tial al farado de studoj al kiuj mankas la statistika potenco detekti efikon.

La esploristoj ankaŭ ne rekonas, ke la signifo de rezulto, esprimita per P-valoro, dependas kritike de la kunteksto. Ju pli da variabloj vi ekzamenas, des pli verŝajne estas ke vi trovos malĝuste "signifan" valoron. Ekzemple, se vi testas 14 metabolitojn por asocio kun malsano, tiam la probablo, ke vi hazarde trovas almenaŭ unu P-valoron sub 0,05 - ofte uzata sojlo de statistika signifo - ne estas 1 en 20, sed pli proksima al 1 ĝis 2.

Kiel ni povas transdoni komprenon pri ĉi tio? Unu afero estas klara: konvencia trejnado pri statistikoj estas netaŭga aŭ eĉ malutila ĉar ĝi povus doni al la uzanto malkonvenan fidon. Mi spertas alternativan aliron: generi simulitajn datumojn, kiujn la studentoj povas submeti al diversaj statistikaj analizoj. Mi uzas ĉi tion por transdoni du ŝlosilajn konceptojn.

Unue, kiam studentoj prezentas nulajn registrojn (kiel hazardaj nombroj), ili rapide malkovras, kiel facile estas trovi falsajn rezultojn, kiuj aperas statistike "signifaj". Esploristoj devas lerni, ke interpreti P-valoron kiam oni demandas al ili, "Ĉu A rilatas al B?" estas tre malsama al la demando "Ĉu estas korelacioj por la variabloj A, B, C, D kaj E por kiuj P <0,05? La demando ĉu aparta metabolito estas ligita kun malsano ne samas kiel serĉi gamon de metabolitoj por vidi ĉu iuj estas rilataj al ĝi, ĉi-lastaj postulas multe pli rigoran testadon.

Kontrolante la kvar rajdistojn de nereprodukteblo

Simulitaj datumoj ankaŭ donas informojn kiam la specimenoj devenas de du "populacioj" per malsamaj rimedoj. Studentoj rapide lernas, ke kun malgrandaj specimenoj, eksperimento povas esti senutila por malkovri eĉ moderan diferencon. 30-minuta datuma simulado povas konsterni esploristojn, se ili komprenas la implikaĵojn.


Esploristoj devas akiri dumvivajn kutimojn por eviti esti erarigitaj de konfirma antaŭjuĝo. Observaĵoj, kiuj kontraŭdiras niajn atendojn, bezonas specialan atenton. Charles Darwin diris en 1876, ke li kutimis "kiam ajn mi renkontas publikigitan fakton, observon aŭ penson, kiu kontraŭas miajn ĝeneralajn rezultojn, tuj kaj tuj skribu memorandon pri ĝi por skribi: ĉar mi trovis per sperto, ke tia faktoj kaj pensoj multe pli evitis memoron ol favorajn ". Mi mem vidis tion. Skribante recenzojn, mi teruris, ke mi tute forgesis mencii artikolojn kontraŭajn al miaj instinktoj, kvankam la gazetoj ne havis apartajn difektojn. Mi nun provas listigi ilin.

Ni ĉiuj malfacile vidas la difektojn en nia propra laboro - ĝi estas normala parto de homa ekkono. Sed se ni komprenas ĉi tiujn blindajn punktojn, ni povas eviti ilin.

Por premi