Forskning skal laves på kvalitetsdata, men vi er nødt til at tale mere om dårlig data

Da Gavrielle Untracht dykkede ned et datasæt med scanningsbilleder fra en kollega, var der en ting der stod frem: Der var en del af scanningsbillederne, der ikke kunne bruges til noget. De var for dårlige og skulle kasseres. Og vi fornærmer ingen ved at påpege det, for det er helt normalt. Alligevel taler forskere sjældent om ’bad data’. Det vil Gavrielle Untracht gerne lave om på.

Da fysiker og adjunkt Gavrielle Untracht som det første efter hendes ansættelse på Videncenter for Hudkræft blev bedt om at dykke ned i et eksisterende datasæt fra et klinisk studie. Studiet havde oprindeligt til formål at undersøge, om et aktivt stof kunne trænge gennem huden via en creme. De oprindelige analyser viste ingen effekt – cremen gjorde tilsyneladende ingen forskel, efterfølgende scanninger med en OTC-scanner viste heller ikke nogen effekt. 

Fra et klinisk perspektiv er det en del af virkeligheden, at ikke alle scanninger producerer tydelig og aflæselige billeder. Men det er sjældent, at man som Gavrielle Untracht tager præmissen om dårlige data op og behandler den i en videnskabelig artikel. I det hele taget er dårlige data ikke noget, der tales ret meget om i forskningsverdenen. Man sorterer det bare fra, for at de ikke skal forvrænge det samlede analysebillede. Og det er helt usædvanligt, at Gavrielle Untracht nu har publiceret en artikel om dårlige data.

Men når man nu ved, at den slags data forekommer, bør de også deklareres inkluderes i færdige forskningsartikler, mener Gavrielle Untracht:

- Hvorfor er det, vi som forskere ikke skal fortælle om bad data? Disse scanninger er jo udført af en læge på en patient, der har lagt krop og tid til. De scanninger, hvor udfaldet er dårligt bør nævnes i et studie, selv om de bliver sorteret fra i analysearbejdet. Hvis du har en afvigelse, skal du da fortælle om det, mener Gavrielle Untracht.

Hun insisterer på det, ikke mindst af hensyn til de frivillige forsøgspersoner, der tager sig tid til at hjælpe forskningen:

- Ellers vil de jo føle, at deres indsats er helt forgæves og det er ikke respektfuldt, siger hun.

If there is no story

Gavrielle Untracht besluttede sig for at dykke ned i de dårlige data, for at se, om man kunne lære noget af dem. Give dem en brugbar læringsværdi, for de findes stort set alle forskningsprojekter. 

Man siger indenfor journalistik, at ”if there is no story, maybe thats the story”. Datasættet med de mislykkede eller uklare scanninger kunne netop hverken af eller bekræfte den tese, der oprindeligt lå bag undersøgelserne.

I stedet vendte Gavrielle Untracht det analytiske blik mod de kasserede scanninger og besluttede sig for at bruge dem som udgangspunkt for at definere, hvad det er, der gør en scanning dårlig eller ubrugelig. Artiklen blev således en artikel om 

- Der fandtes ikke et materiale, er kunne definere den gode/dårlige scanning. Det er vigtigt for os alle sammen at kunne lave kvalitetsscanninger. Hvis jeg ud fra det dårlige datasæt kan definere og sætte en standard for den gode scanning, så kan det hjælpe det næste forskningsprojekt, siger Gavrielle Untracht.

Et etisk perspektiv

Et nobelt og usædvanligt projekt, der heller ikke fik den blideste medfart, da artiklen skulle bedømmes:

- Vi fik en del kritik for vores fokus på de dårlige data. Bedømmerne insisterede på, at vi også publicerede og medtog de vellykkede gode data, til trods for at der som sådan ikke kunne udledes noget resultat fra dem, fortæller Gavrielle Untracht.

Men artiklen endte med at gå igennem og blive publiceret. Og Gavrielle Untracht håber, at den i fremtiden kan give andre forskere et referencepunkt i forhold til at bedømme god og dårlig scanningsdata.

- Der ligger også en etisk dimension: Forsøgspersonernes indsats skal tælle. Deres bidrag bør ikke gå tabt uden forklaring. Hvis vi vil lave pålidelige medicinske studier, kræver det data af høj kvalitet, klare standarder og transparens omkring fejl. Og det forudsætter, at vi også kan tale om de dårlige data, siger hun. 

Artiklen om de dårlige data kan du læse her.