Elke paar weken is het weer raak. "Verlamde man bestuurt rolstoel met zijn gedachten." "Hersenchip gaat depressie genezen." "Implantaat geeft blinden het zicht terug." De kop is spectaculair, de foto futuristisch en ergens onderaan staat in kleine letters dat het om één patiënt ging. Of om een muis. Of om een technologie die pas over een paar jaar bij mensen wordt getest.
Het lastige is: in zulke berichten zit meestal wel een kern van waarheid. Vaak gaat het ook echt om een interessante ontwikkeling. Alleen is die ontwikkeling regelmatig minder ver dan de kop doet vermoeden.
De kunst is daarom niet om cynisch te worden, maar om nieuwsgierig én kritisch te blijven. Met een paar eenvoudige vragen is het vaak al mogelijk om het echte signaal van de ruis te onderscheiden. U hoeft daarvoor geen arts of onderzoeker te zijn. Wie deze vragen stelt, ziet al snel wat een kop wel vertelt, en vooral ook wat niet.
1. Mensen of muizen?
Begin altijd hier. Veel opvallende neurotechnologische doorbraken komen uit zogenoemd preklinisch onderzoek: experimenten met cellen of proefdieren. Dat is essentieel onderzoek en vaak de eerste stap naar nieuwe behandelingen. Maar de weg van een veelbelovend resultaat bij een muis naar een werkende behandeling voor mensen is lang. De meeste ideeën halen die eindstreep nooit.
Daarbij maakt het ook uit wát er precies bij zo'n dier is onderzocht. Een aandoening die in een laboratorium bij een muis wordt nagebootst, is zelden een perfecte afspiegeling van dezelfde ziekte bij mensen. Een veelbelovend resultaat in een diermodel is daarom vooral een goede reden om verder onderzoek te doen, maar nog geen bewijs dat een behandeling bij mensen ook echt werkt.
2. Hoe groot was de studie?
Een spectaculaire doorbraak gebaseerd op één patiënt is nog steeds gebaseerd op één patiënt.
Dat klinkt vanzelfsprekend, maar juist dit detail verdwijnt vaak naar de achtergrond zodra een indrukwekkende video de wereld over gaat. Vrijwel iedere medische innovatie begint met een klein aantal deelnemers. Dat is precies zoals het hoort. Maar een behandeling die bij één of vijf mensen goed werkt, hoeft dat nog niet te doen bij de volgende honderd.
Kijk daarom niet alleen naar het aantal deelnemers, maar ook naar het soort onderzoek en hoe lang mensen zijn gevolgd. Een eerste haalbaarheidsstudie, waarin bij een kleine groep vooral wordt onderzocht of een nieuwe behandeling veilig en uitvoerbaar is, vertelt iets anders dan een grote studie waarin een behandeling met een controlegroep wordt vergeleken. Daarnaast is het belangrijk om alle details van een studie te kunnen wegen: dat kan eigenlijk alleen als de studie in de vorm van een artikel in een peer-reviewed tijdschrift is verschenen (en dat is niet altijd het geval als de aankondiging komt).
Ook tijd speelt een rol. Een effect dat na enkele weken indrukwekkend lijkt, kan een jaar later veel kleiner blijken. En wanneer veel deelnemers tijdens een studie afhaken, kan dat het uiteindelijke beeld vertekenen.
3. Waarmee werd vergeleken?
Misschien wel de belangrijkste vraag van allemaal. Verbeterde een patiënt ten opzichte van een controlegroep? Of alleen ten opzichte van zichzelf?
Zonder goede vergelijking is het lastig om te bepalen waardoor een verbetering werkelijk ontstaat. Misschien werkt het apparaat. Misschien speelt verwachting een rol. Misschien gaat het om spontaan herstel of simpelweg om de intensieve begeleiding tijdens het onderzoek.
Bij neurostimulatie is die vergelijking extra belangrijk. Idealiter weet een deelnemer niet of hij echte stimulatie krijgt of een nepbehandeling, in onderzoek een sham-behandeling genoemd. Zo wordt de invloed van verwachtingen op het resultaat zoveel mogelijk beperkt.
Een verbetering ten opzichte van de beginsituatie is interessant. Een overtuigend verschil met een goede controlegroep vertelt uiteindelijk veel meer.
4. Waar komt het nieuws vandaan?
Niet iedere bron weegt even zwaar. Een artikel dat gepubliceerd is in een wetenschappelijk tijdschrift heeft doorgaans meer bewijskracht dan een abstract op een congres. Een congresabstract staat weer steviger dan een persbericht van een bedrijf. En een enthousiaste uitspraak van een bestuurder op sociale media is nog geen wetenschappelijk bewijs.
Vraag uzelf daarom altijd af: wie vertelt dit verhaal?
Ook het moment waarop nieuws verschijnt kan iets zeggen. Een persbericht dat vlak na een grote investeringsronde of beursgang wordt gepubliceerd, kan meerdere doelen dienen. Dat betekent niet dat de inhoud onjuist is, maar wel dat het verstandig is om extra goed te kijken waarop de uitspraken zijn gebaseerd.
5. Een toelating is nog geen bewijs
Hier gaat het ook in de reguliere media regelmatig mis.
Termen als Breakthrough Device, IDE (uit Amerika) en CE-markering (Europa) klinken officieel en indrukwekkend, maar betekenen vaak iets anders dan veel mensen denken.
- Een Breakthrough Device status betekent dat de Amerikaanse toezichthouder FDA een veelbelovende technologie met voorrang wil beoordelen. Het betekent niet dat het apparaat bewezen werkt.
- Een Investigational Device Exemption (IDE) betekent dat onderzoekers in de Verenigde Staten toestemming hebben om een medisch hulpmiddel binnen een klinische studie te onderzoeken. Het onderzoek moet dan dus nog plaatsvinden.
- Een CE-markering geeft aan dat een medisch hulpmiddel voldoet aan de Europese eisen die gelden om het op de markt te mogen brengen. Het betekent niet automatisch dat is aangetoond dat het beter werkt dan bestaande behandelingen.
Een goed voorbeeld is een recent hersenimplantaat dat via een bloedvat wordt geplaatst. De aankondiging van een grote registratiestudie haalde wereldwijd het nieuws. Dat was terecht belangrijk. Maar klaar voor een registratiestudie is iets anders dan klinisch bewezen werkzaam. Juist dat bewijs moet in zo'n grotere studie nog worden geleverd.
6.Wat werd eigenlijk gemeten?
Niet iedere uitkomst is even belangrijk. Een bericht als "de hersenactiviteit veranderde" klinkt indrukwekkend. Maar merkt de patiënt daar ook iets van? Kan iemand beter lopen, helderder denken, minder pijn ervaren of zelfstandiger leven? Uiteindelijk zijn dat de uitkomsten die ertoe doen en waardoor een innovatie echt de spreekkamer van het ziekenhuis bereikt.
Ook de term statistisch significant verdient enige uitleg. Die betekent dat een gevonden verschil waarschijnlijk niet eenvoudig door toeval kan worden verklaard. Het betekent niet automatisch dat het verschil ook groot of belangrijk is. Een behandeling kan op papier een overtuigend effect hebben, terwijl een patiënt daar in het dagelijks leven nauwelijks iets van merkt.
Kijk daarom niet alleen óf er een verschil werd gevonden, maar vooral hoe groot dat verschil was en wat er precies werd gemeten. Extra vertrouwen geeft het wanneer onderzoekers vooraf hebben vastgelegd wat ze precies willen aantonen. Zo kunnen ze achteraf niet simpelweg het gunstigste resultaat uit een lange lijst met metingen naar voren schuiven.
7. Staat de belofte in de toekomende tijd?
Een eenvoudige vuistregel: bewezen resultaten staan meestal in de verleden tijd.
"We hebben gemeten..."
"Bij 42 patiënten zagen we..."
"Na twaalf maanden verbeterde..."
Zodra een nieuwsbericht vooral bestaat uit woorden als kan, zou kunnen, belooft, verwacht of binnen enkele jaren, gaat het meestal over ambitie en niet over bewijs.
Dat is helemaal niet erg. Innovatie begint nu eenmaal met verwachtingen. Maar het helpt wel om ambitie en resultaat niet met elkaar te verwarren.
8. Is dit echt nieuw?
Misschien wel de makkelijkste vraag om te vergeten. Sommige doorbraken zijn inderdaad nieuw. Andere blijken vooral een nieuwe versie van een ouder idee.
Diepe hersenstimulatie bij depressie is daarvan een goed voorbeeld. Meer dan tien jaar geleden werd de behandeling al als een grote doorbraak gepresenteerd. Daarna vielen enkele grote onderzoeken tegen en verdween het enthousiasme grotendeels. Inmiddels staat de techniek opnieuw in de belangstelling, met betere patiëntselectie en aangepaste behandelstrategieën, en zijn de eerste resultaten opnieuw bemoedigend.
Dat maakt het huidige onderzoek niet minder waardevol. Integendeel. Het laat vooral zien dat medische vooruitgang zelden een rechte lijn volgt. Een nieuwe aankondiging krijgt meer betekenis wanneer je weet wat eraan voorafging.
De checklist in de praktijk
Stel dat u deze kop leest:
"Hersenimplantaat krijgt groen licht en gaat volgend jaar in productie."
Loop de vragen eens langs.
Ging het om mensen of dieren? Mensen...dat is een goed begin.
Hoe groot was de studie? Een kleine haalbaarheidsstudie zonder controlegroep. Dat vraagt om voorzichtigheid.
Waar komt het nieuws vandaan? Uit een wetenschappelijke publicatie of uit een persbericht van het bedrijf zelf?
Wat betekent het groene licht precies? Dat het implantaat bewezen werkt, of alleen dat het een volgende stap in het toelatingstraject mag zetten?
En "gaat volgend jaar in productie"? Dat is een toekomstplan, geen klinisch resultaat.
De conclusie verandert daardoor subtiel maar wezenlijk. Het blijft interessant nieuws. Alleen vertelt de kop een groter verhaal dan het beschikbare bewijs op dat moment ondersteunt.
Hoe wij bewijs beoordelen
Deze acht vragen gebruiken we niet alleen voor dit artikel. Ze vormen ook de basis van hoe wij ontwikkelingen op neurotechnologie.nl beoordelen.
Bij ieder onderwerp stellen we in grote lijnen dezelfde vragen. Is het onderzoek uitgevoerd bij mensen? Hoe groot was de studie? Was er een goede vergelijking? Is het onderzoek onafhankelijk gepubliceerd? Wat betekent een eventuele goedkeuring precies? Welke uitkomsten zijn gemeten? En gaat het vooral over resultaten die al zijn behaald, of over verwachtingen voor de toekomst?
Op basis daarvan plaatsen we een onderwerp op onze ruismeter.
De ruismeter kent drie niveaus.
Ruis
De belofte loopt duidelijk vooruit op het bewijs. Er is nog weinig onafhankelijk onderzoek, de resultaten zijn onzeker of studies spreken elkaar tegen.
Veelbelovend
Er zijn serieuze aanwijzingen dat een technologie werkt. De eerste resultaten zijn bemoedigend en grotere studies lopen of worden voorbereid, maar het bewijs is nog niet stevig genoeg om definitieve conclusies te trekken.
Signaal
De werking is overtuigend onderbouwd door meerdere onafhankelijke studies en de technologie heeft een duidelijke klinische waarde of vindt haar weg naar de reguliere zorg.
Belangrijk is dat de ruismeter geen definitief oordeel is. Wetenschap staat nooit stil. Een technologie die vandaag nog veelbelovend is, kan over enkele jaren uitgroeien tot een helder signaal. Maar het omgekeerde kan ook gebeuren: veelbelovende resultaten kunnen in grotere studies tegenvallen.
Daarom verandert onze beoordeling mee met het bewijs. En waar we een oordeel geven, proberen we altijd te laten zien waarop dat oordeel is gebaseerd. Zo kunt u uiteindelijk ook zelf beoordelen hoe sterk het bewijs werkelijk is.
Beperkt of tegenstrijdig bewijs. Verder onderzoek nodig.
Vroeg bewijs aanwezig. Grotere trials lopen of zijn gepland.
Meerdere onafhankelijke studies. Klinisch toegepast.
Het signaal, samengevat
U hoeft geen wetenschapper te zijn om medische berichtgeving kritisch te kunnen lezen.
Onthoud drie eenvoudige vuistregels:
- Een toelating is nog geen bewijs van werkzaamheid.
- Één patiënt is nog geen bewijs dat een behandeling werkt.
- Beloften in de toekomende tijd zijn nog geen resultaten.
Met die drie vragen kijkt u al heel anders naar spectaculaire koppen.
Want tussen alle aankondigingen, demonstraties en ambitieuze beloften zit wel degelijk echte vooruitgang. De kunst is niet om enthousiast of sceptisch te zijn, maar om het verschil te blijven zien tussen hoop, verwachting en bewijs. Precies daar proberen wij op neurotechnologie.nl bij te helpen.