"De meeste medische informatie is gebrekkig, maar de gebreken variëren van klein, en waarschijnlijk onbelangrijk, tot fataal. Een belangrijk doel van MedicineNet.com is om medische informatie te verzamelen, deze aan kritische beoordeling te onderwerpen en vervolgens alleen de informatie te presenteren die is doorstond kritische beoordeling door deskundige artsen. We rapporteren deze informatie niet alleen. We hopen dat we de informatie ook op een manier presenteren die begrijpelijk is voor mensen die geen wetenschappelijke of medische achtergrond hebben." Jay W. Marks, M.D.
Ik heb een buurvrouw die me medische artikelen uit de krant geeft als ze denkt dat ze voor mij interessant kunnen zijn. Onlangs gaf ze me een artikel over een gepubliceerde studie die een nieuwe oorzaak voor het prikkelbare darm syndroom suggereerde. Omdat het in een krant was gepubliceerd, had het artikel waarschijnlijk een grote oplage en bereikte het veel mensen met het prikkelbare darm syndroom. Het is nu gebruikelijker om patiënten informatie te laten bespreken die ze in de lekenpers hebben gelezen met hun artsen. Daarom dacht ik dat ik zowel het artikel als de studie zelf moest kennen. Ik ging naar de medische bibliotheek en haalde een exemplaar van de studie uit het medische tijdschrift waarin het was gepubliceerd.
Het onderzoek vertoonde ernstige gebreken en ik vroeg me af waarom een krant over zo'n onderzoek zou berichten. Misschien net zo belangrijk, het krantenartikel gaf geen kritische evaluatie van de studie of voldoende informatie over de studie zodat de lezer deze kritisch kon beoordelen. Toen begon ik me af te vragen of mensen begrepen wat er komt kijken bij een kritische evaluatie van een medische studie. Zorgvuldige artsen beoordelen nieuwe informatie altijd kritisch, zodat ze kunnen beslissen of de bevindingen van een onderzoek al dan niet moeten worden gebruikt bij de zorg voor patiënten. Ik besloot dat het misschien handig zou zijn om te beschrijven hoe ik een medisch onderzoek bekijk.
Een gepubliceerde medische studie heeft meestal meerdere onderdelen. Er is een titel die vertelt waar het onderzoek over gaat en een lijst van de auteurs van het onderzoek, de onderzoekers die het onderzoek hebben gedaan. Deze worden gevolgd door een korte samenvatting, of abstract, van de gehele gepubliceerde studie. De hoofdtekst van het gepubliceerde onderzoek bevat een inleiding, die achtergrondinformatie geeft om het onderzoek in wetenschappelijk perspectief te plaatsen, en ook een doel of doel van het onderzoek geeft. Wat volgt is een beschrijving van de methoden die in het onderzoek zijn gebruikt, een presentatie van de onderzoeksresultaten en tot slot een bespreking van de resultaten.
Het eerste wat ik doe is naar de titel van het artikel kijken. Als de titel suggereert dat de studie voor mij interessant is, zal ik de samenvatting lezen. Zo niet, dan ga ik door naar de volgende studie. Als ik na het lezen van de samenvatting denk dat de studie misschien goed is, kijk ik naar de lijst met auteurs. Als ik de auteurs herken als experts op het gebied van het onderzoek van de studie, suggereert dit voor mij dat de studie waarschijnlijk goed wordt uitgevoerd. Dan Iread de methoden. Als de in het onderzoek gebruikte methoden niet goed zijn, heeft verder lezen geen zin. Slechte methoden leveren altijd slechte resultaten op. Als de methoden klinken, lees ik de inleiding, de resultaten en de discussie voor. U merkt misschien dat ik pas bij het "vlees" van het onderzoek kom als ik heb vastgesteld dat de resultaten waarschijnlijk geldig zijn.
Hoe is de studie gerapporteerd door de krant stackup? Allereerst verscheen de studie in een tweederangs tijdschrift, dat wil zeggen een tijdschrift dat meestal niet de beste studies publiceert. Ondanks het feit dat er veel onderzoeken zijn gepubliceerd, is slechts een minderheid goed uitgevoerd. The first-tier tijdschriften zijn erg voorzichtig met de studies die ze publiceren. In deze tijdschriften worden studies pas voor publicatie gekozen nadat twee of meer wetenschappers die het onderzoeksgebied kennen, de studie kritisch hebben beoordeeld. De recensenten kunnen de studie accepteren, afwijzen of de auteurs vragen om deze te verduidelijken of aan te passen. Alleen studies die standhouden onder kritische, deskundige controle en nieuwe informatie presenteren, worden gekozen. Second-tier tijdschriften hebben ook deskundige reviewers voor de studies die ze publiceren, maar de first-tier tijdschriften krijgen meestal eerst de beste studies, en de normen van de second-tier tijdschriften zijn dan ook vaak lager. Toch verschijnen er wel degelijk goede studies in tweederangs tijdschriften. Ze kunnen bijvoorbeeld onderzoeken presenteren die kritisch worden beoordeeld, maar geen nieuwe informatie rapporteren.
De titel van het prikkelbare darmonderzoek dat ik aan het beoordelen was, was zeker van belang voor mij vanwege het belang van prikkelbare darmaandoeningen in een gastro-enterologische praktijk. De auteurs waren mij bekend en gerenommeerd. Ze rapporteerden echter op een gebied dat niet tot hun expertisegebied behoorde. De samenvatting suggereerde dat de studie goed was. Ik ging toen naar het gedeelte over methoden, waar ik het probleem vond.
Voor de studie testten de auteurs patiënten aan het begin van de studie en opnieuw aan het einde. Er werden in het begin 105 patiënten getest, maar velen van hen kwamen niet terug voor de tweede test. Slechts 26 keerden terug. Het is waar dat je tijdens bijna alle onderzoeken verliezen van patiënten verwacht. Sommige patiënten besluiten dat ze gewoon niet verder willen met het onderzoek of dat ze bijwerkingen krijgen. Verliezen van patiënten maken de studie niet ongeldig. Het is bijvoorbeeld algemeen aanvaard dat verliezen tot 20% van de patiënten de validiteit van een onderzoek niet aantasten. Bij een verlies van 30% wordt de validiteit echter wankel. In het prikkelbare darmonderzoek dat ik aan het reviewen was, waren de studieverliezen 75%. Dit maakte de conclusies van het onderzoek noodzakelijkerwijs ongeldig. Gezien deze fatale fout was er eigenlijk geen reden om verder te lezen.
Ik denk dat de lekenpers het publiek een slechte dienst bewijst door studies kritiekloos te rapporteren of in ieder geval niet de informatie te verstrekken die de lezer nodig heeft om de studie kritisch te beoordelen. Soms zal de pers om onafhankelijk commentaar vragen van een deskundige op het gebied van het onderzoek. Vaak genoeg is het commentaar echter algemeen en gaat het niet over de kwaliteit van het onderzoek. Dit principe van kritische evaluatie (peer review) is zo belangrijk dat de eersteklas tijdschriften die een studie al hebben geaccepteerd voor publicatie, vaak een deskundige zullen vragen die de studie nog niet eerder heeft gezien (dwz een derde reviewer, als je wilt) om commentaar te geven op de studie. Het tijdschrift zal het commentaar dan samen met het onderzoek publiceren als redactioneel commentaar.