Ända sedan 1600-talet, när den moderna naturvetenskapliga forskningen såg dagens ljus, har metoderna förfinats och förbättrats. Men till stora delar går forskningen ut på samma sak nu som då: att samla in observationer som undersöks och tolkas grundligt. När andra forskare kan upprepa samma experiment med samma resultat brukar man tala om reproducerbarhet och evidens – två viktiga fundament inom vetenskapen. Men vilken roll spelar valet av analysmetod för forskning inom ekologi och evolutionsbiologi? Det har 174 forskarteam undersökt i en ny studie som publiceras i BMC Biology. Genom att jämföra två opublicerade dataset – ett om sambandet mellan antalet syskon och tillväxten hos blåmesar och ett om hur grästäckning och träd påverkar tillväxt hos eukalyptusplantor – framgick det att resultaten blev olika.
– Valet av analysmetod visade sig spela stor roll. Vi upptäckte också att forskarna inte var överens om vilka metoder som var bra eller dåliga. Det är lite oroväckande att vi forskare verkar ha svårt att skilja mellan pålitliga och mindre pålitliga metoder, säger biologiprofessor Jessica Abbott vid Lunds universitet som medverkat i studien.
En del forskningsresultat verkar bero på slumpen
För datasetet om blåmesar var resultaten ganska samstämmiga. Men det fanns också forskare som fick helt motsatta resultat beroende på vilken statistisk modell de valde. För datasetet om växter spretade resultaten betydligt mer. Fynden sätter fingret på ett viktigt problem. Om vi ska kunna lita på forskning måste vi kunna granska hur resultaten kommer till och förstå på vilka grunder forskare väljer en viss metod. Det verkar som en del uppmärksammade resultat beror helt eller delvis på slumpen eftersom man inte får samma resultat vid upprepning.
Val av statistisk metod är i mångt och mycket en smaksak – det finns sällan några hårda regler, säger Jessica Abbott.
– I detta fall lades fokus på hur dataseten analyserades. Val av statistisk metod är i mångt och mycket en smaksak – det finns sällan några hårda regler. Studien är viktig för att den visar att val av metod spelar större roll än många tror, säger Jessica Abbott.
Vilken praktisk nytta kan då de nya resultaten få? Jessica Abbott menar att de förhoppningsvis kan få forskare att prova flera olika analysmetoder innan slutsatser dras. Om man får samma utfall genom att använda olika metoder är säkerheten i resultaten förmodligen större.
– Det handlar om vetenskapens trovärdighet. Om det inte finns möjlighet att göra om samma studie från början, så borde forskare åtminstone prova flera analysmetoder innan de fastställer att ett resultat är säkert. Det har många forskare avrått ifrån eftersom det kan finnas risk att man sedan väljer att endast presentera analysen som ger ”bäst” resultat. Men om vissa rön är mindre reproducerbara måste detta tas i beaktning, exempelvis innan politiska beslut fattas, säger Jessica Abbott.
Studien publicerades i den vetenskapliga tidskriften BMC Biology: ”Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology”