ChatGPT maakt examen Nederlands (en zakt op het nippertje)
Scholieren ploeterden deze week op het examen Nederlands. Hoog tijd om ook ChatGPT zo'n examen te laten maken, vond Marc van Oostendorp, hoogleraar moderne talen en culturen aan de Radboud Universiteit. Spoiler alert: ChatGPT is gezakt.
'De ultieme test', zo noemt Marc van Oostendorp zijn experiment. Hij liet ChatGPT het centrale vwo-eindexamen Nederlands maken, en schreef over zijn bevindingen op Neerlandistiek.nl, een online tijdschrift over de Nederlandse taal en letterkunde.
Het examen, dat eerder deze week bij duizenden vwo-scholieren is afgenomen, bestond uit een aantal opinieteksten uit kranten en tijdschriften, en de leerlingen dienden antwoord te geven op vragen over die tekst. Van Oostendorp heeft, zo schrijft hij, 'de teksten ingevoerd en de vragen vervolgens aan ChatGPT gesteld'. Vervolgens heeft hij de antwoorden 'steeds zo goed mogelijk getoetst aan het officiële antwoordmodel'.
Geen vreselijke onvoldoende
Wat voor een cijfer ChatGPT exact zou hebben gehaald, kan volgens de hoogleraar nog niet worden vastgesteld: er is nog geen normering afgesproken, daarvoor is het nog te vroeg.
Maar: ChatGPT haalde 33 punten op een totaal van 60 punten. "Ze zou waarschijnlijk zijn gezakt", concludeert Van Oostendorp, maar wel slechts op het nippertje. "Ze heeft geen vreselijke onvoldoende gehaald."
Wat is het?
ChatGPT werkt op basis van een algoritme dat is getraind op grote hoeveelheden tekst, zodat het kan leren hoe mensen praten en reageren. Wanneer je een bericht stuurt, analyseert ChatGPT deze en geeft het een passende reactie. Dit gebeurt in real-time, zodat het lijkt alsof je met een echte persoon praat. Het kan worden gebruikt voor allerlei doeleinden, zoals het voeren van gesprekken met vrienden, het oefenen van een vreemde taal of het schrijven van teksten. Het is ook handig voor bedrijven die op zoek zijn naar een manier om snel en efficiënt te communiceren met klanten.
Daarbij is er ook een aantal verzachtende omstandigheden: ChatGPT is niet in staat om PDF-bestanden te lezen, dus Van Oostendorp moest de artikelen overzetten naar een ander leesbaar formaat. Daarbij heeft hij de regelnummers verwijderd, 'dus die informatie ontbrak'.
Daarnaast worden in de examenteksten de alinea's genummerd, en ook dat heeft ChatGPT niet begrepen, stelt Van Oostendorp. "Daardoor heeft ze waarschijnlijk een aantal cruciale punten gemist", schrijft hij. "Ze begreep de structuur van het examen niet."
Dus de meeste fouten zijn dus door ChatGPT gemaakt op het gebied van 'examenvaardigheid', en niet op het gebied van leesvaardigheid, en dat laatste is waar de scholieren op worden getoetst en beoordeeld.
Van Oostendorp zegt ook niet verbaasd te zijn dat, als ChatGPT getraind zou worden met examens uit voorgaande jaren, gewoon moeiteloos een voldoende had gehaald. "Sowieso zijn er best veel antwoorden die verbazingwekkend goed zijn."