Deze week is de preprint (pdf) beschikbaar gekomen van het artikel “Completeness, Correctness and Conciseness of Physician-written versus Large Language Model Generated Patient Summaries Integrated in Electronic Health Records“. Het betreft de eerste studie die de kwaliteit van door artsen geschreven patiënt-samenvattingen vergelijkt met die van grote taalmodellen (LLM’s), zoals GPT-4, in een niet-Engelstalige klinische omgeving.
De studie, uitgevoerd door onderzoekers van UMC Groningen en het Elisabeth-TweeSteden Ziekenhuis, evalueert de volledigheid, juistheid en beknoptheid van deze samenvattingen, evenals de voorkeur en het vertrouwen van artsen in de gegenereerde teksten. De resultaten tonen aan dat de door LLM’s gegenereerde samenvattingen qua volledigheid en juistheid vergelijkbaar zijn met die van artsen.
De resultaten in het kort:
In de studie werden 400 samenvattingen beoordeeld door arts-evaluatoren, zowel objectief als subjectief. De artsen besteedden gemiddeld zeven minuten per samenvatting, terwijl de LLM slechts 15,7 seconden nodig had. Ondanks deze snelheid bleek de kwaliteit van de LLM-samenvattingen vergelijkbaar te zijn met die van de artsen. De artsen schreven iets beknoptere samenvattingen, maar dit verschil werd als klinisch onbelangrijk beschouwd.
Verder gaf 57% van de artsen de voorkeur aan de LLM-gegenereerde samenvattingen of beoordeelde deze als gelijkwaardig aan hun eigen werk. Het vertrouwen in de samenvattingen voor klinische besluitvorming was hoog, met weinig verschil tussen de door LLM’s en artsen geschreven samenvattingen.
Bart Scheerder benadrukt in een bericht op LinkedIn de radicale impact van deze technologie. Hij stelt dat de introductie van AI, zoals ChatGPT, in het elektronische patiëntendossiersysteem (Epic EHR) de voorbereidingstijd van klinische gegevens met maar liefst 95% kan verminderen. Dit vooruitzicht heeft volgens Scheerder het potentieel om artsen significant meer tijd te geven voor patiëntenzorg en minder voor administratieve taken. Hij noemt het een (digitale) transformatie, maar ik zie het vooralsnog als digitalisering. Wat vinden jullie?
Het is wellicht interessant om het SBO-webinar “Kansen en uitdagingen van ChatGPT in de zorg” van juni 2023 nog eens terug te kijken. Dit webinar maakte destijds indruk omdat het de basis van taalmodellen goed wist uit te leggen.
