"Det meste av medisinsk informasjon er feil, men feilene varierer fra små, og sannsynligvis uviktige, til dødelige. Et hovedmål med MedicineNet.com er å ta medisinsk informasjon, utsette den for kritisk gjennomgang, og deretter presentere bare informasjonen som har tålt kritisk gjennomgang av ekspertleger. Vi rapporterer ikke bare denne informasjonen. Vårt håp er at vi også presenterer informasjonen på en måte som er forståelig for folk som ikke har vitenskapelig eller medisinsk bakgrunn." Jay W. Marks, M.D.
Jeg har en nabo som gir medisinske artikler fra avisen hvis hun tror de kan være av interesse for meg. Forleden ga hun meg en artikkel som rapporterte om en publisert studie som antydet en ny årsak til irritabel tarm. Fordi den ble publisert i en avis, hadde artikkelen sannsynligvis et bredt opplag og nådde mange personer med irritabel tarm. Det er nå mer vanlig å la pasienter diskutere informasjon de har lest i lekmannspressen med sine leger. Derfor tenkte jeg at jeg burde være kjent med artikkelen samt selve studien. Jeg dro til det medisinske biblioteket og skaffet meg en kopi av studien fra det medisinske tidsskriftet den var publisert i.
Studien var alvorlig feil, og det fikk meg til å undre seg over hvorfor en avis ville rapportere om en slik studie. Kanskje like viktig, avisartikkelen ga heller ikke en kritisk vurdering av studereren nok informasjon om studien til at leseren kunne vurdere den kritisk. Så begynte jeg å lure på om folk forsto hva som er involvert i en kritisk evaluering av en medisinsk studie. Forsiktige leger vurderer alltid ny informasjon kritisk, slik at de kan avgjøre om resultatene fra en studie skal brukes til å ta vare på pasienter eller ikke. Jeg bestemte meg for at det kunne være nyttig å beskrive hvordan jeg vurderer en medisinsk studie.
En publisert medisinsk studie har vanligvis flere deler. Det er en tittel som forteller hva studien handler om og en liste over studiens forfattere, forskerne som har utført studien. Disse etterfølges av et kort sammendrag, eller sammendrag, av hele den publiserte studien. Hoveddelen av den publiserte studien inkluderer en introduksjon, som presenterer bakgrunnsinformasjon for å sette studien inn i et vitenskapelig perspektiv, og også gir et formål eller mål for studien. Det som følger er en beskrivelse av metodene som er brukt i studien, en presentasjon av studiens resultater, og til slutt en diskusjon av resultatene.
Det første jeg gjør er å se på tittelen på artikkelen. Hvis tittelen tilsier at studien vil være interessant for meg, vil jeg lese abstraktet. Hvis ikke, går jeg videre til neste studie. Hvis jeg etter å ha lest abstraktet føler at studien kan være bra, ser jeg på forfatterlisten. Hvis jeg anerkjenner forfatterne som eksperter på området for studiens forskning, antyder det for meg at studien sannsynligvis vil være godt utført. Så leste jeg metodene. Hvis metodene som er brukt i studien ikke er gode, er det ingen vits i å lese videre. Dårlige metoder gir alltid dårlige resultater. Hvis metodene ser ut til å stemme, vil jeg lese introduksjonen, resultatene og diskusjonen. Du vil kanskje legge merke til at jeg ikke kommer til "kjøttet" av studien før jeg har bestemt at resultatene sannsynligvis vil være gyldige.
Hvordan ble studien rapportert av avisen stackup? Først av alt dukket studien opp i et tidsskrift på andre nivå, det vil si et tidsskrift som vanligvis ikke publiserer de beste studiene. Til tross for at mange forskningsstudier er publisert, er bare et mindretall av dem godt utført. De første tidsskriftene er svært forsiktige med studiene de publiserer. I disse tidsskriftene blir studier valgt for publisering først etter at to eller flere forskere som kjenner til forskningsområdet har kritisk gjennomgått studien. Korrekturleserne kan godta studien, avvise den eller be forfatterne om å avklare eller modifisere den. Kun studier som holder seg under kritisk ekspertgransking og presenterer ny informasjon blir valgt. Second-tier-tidsskrifter har også ekspertanmeldere for studiene de publiserer, men første-tier-tidsskriftene mottar vanligvis de beste studiene først, og standardene til andre-tier-tidsskriftene har derfor en tendens til å være lavere. Likevel dukker det opp gode studier i andre-lags tidsskrifter. For eksempel kan de presentere studier som holder seg under kritisk vurdering, men som ikke rapporterer ny informasjon.
Tittelen på studien om irritabel tarm jeg gjennomgikk var absolutt interessant for meg på grunn av viktigheten av irritabel tarmsykdom i en gastroenterologisk praksis. Forfatterne var kjent for meg og anerkjente. Imidlertid rapporterte de på et område som ikke var innenfor deres kompetanseområde. Abstraktet antydet at studien var god. Deretter gikk jeg til avsnittet om metoder, det var der jeg fant problemet.
For studien testet forfatterne pasienter i begynnelsen av studien og igjen på slutten. Det var 105 pasienter som ble testet i begynnelsen, men mange av dem kom ikke tilbake for den andre testen. Faktisk var det bare 26 som kom tilbake. Det er sant at under nesten alle studier forventer du å se tap av pasienter. Noen pasienter bestemmer seg for at de bare ikke vil fortsette i studien, eller de utvikler bivirkninger. Pasienttap ugyldiggjør ikke en studie. For eksempel er det godt akseptert at tap på opptil 20 % av pasientene ikke påvirker validiteten til en studie. Ved et tap på 30 % blir imidlertid gyldigheten ustabil. I studien med irritabel tarm jeg gjennomgikk, var studietapet 75 %. Dette ugyldiggjorde nødvendigvis studiens konklusjoner. Gitt denne fatale feilen, var det virkelig ingen grunn til å lese videre.
Jeg tror at lekpressen gjør offentligheten en bjørnetjeneste ved å rapportere studier ukritisk eller i det minste ikke gi den informasjonen leseren trenger for å kritisere studien. Noen ganger vil pressen be om en uavhengig kommentar fra en ekspert på området for studien. Ofte nok er imidlertid kommentaren generell og omhandler ikke kvaliteten på studien. Dette prinsippet om kritisk evaluering (fagfellevurdering) er så viktig at førstelags-tidsskrifter som allerede har akseptert en studie for publisering ofte vil be en ekspert som ikke har sett studien før (dvs. en tredje anmelder, om du vil) om å kommentere studere. Tidsskriftet vil deretter publisere kommentaren sammen med studien som en lederartikkel.