Onderzoek naar kunstmatige intelligentie die studenten helpt bij het denkproces

Marco Iannacone voert onafhankelijk onderzoek uit naar het ontwerpen van kunstmatige intelligentie die studenten ondersteunt bij het denken in plaats van hun cognitieve werk over te nemen.

EconomyUp meldde dat het doel is om tutors op basis van kunstmatige intelligentie te creëren die de autonomie van studenten bevorderen. Volgens Iannacone is een correct antwoord onvoldoende om aan te tonen dat een student iets heeft geleerd. Hij stelt een open methode voor om het redeneervermogen, het vermogen om fouten te herkennen en het hergebruik van kennis te observeren.

Voor dit onderzoek zijn drie digitale instrumenten ontwikkeld. Het eerste is Proxima ZSP, een maieutische tutor in het Italiaans voor het lager voortgezet onderwijs. Dit systeem is ontworpen om te voorkomen dat de kunstmatige intelligentie de cognitieve stap zet die de student zelf zou moeten nemen. In plaats van een oefening direct te voltooien, begint het systeem bij de gedachten van de student en stelt het progressieve vragen om het redeneerproces zichtbaar te maken.

Daarnaast is L×M×C ontwikkeld, een open raamwerk om drie aspecten te observeren: de diepte van het redeneren (L), metacognitie (M) en consolidatie en transfer (C). Met dit raamwerk kan worden bepaald of een student een regel uit het hoofd toepast of kan uitleggen waarom breuken naar dezelfde noemer moeten worden gebracht, of een student een fout kan herkennen en corrigeren, en of de geleerde kennis in een andere situatie kan worden hergebruikt. Dit raamwerk is open source beschikbaar onder een Creative Commons BY 4.0-licentie en de criteria zijn gepubliceerd in een preprint op EdArXiv.

Het derde instrument is het Synthetic Learner Evaluation Framework, afgekort als SLEF. Dit systeem bevat 44 profielen van gesimuleerde studenten die elk vijf gesprekken voeren over breuken met vijf verschillende configuraties van tutors op basis van kunstmatige intelligentie, wat resulteert in 1.100 dialogen in het Italiaans. Een onafhankelijk systeem analyseert deze teksten om te proberen de kenmerken van de student te reconstrueren zonder voorafgaande kennis van het profiel.

De resultaten van SLEF, waarbij Proxima ZSP werd vergeleken met configuraties van Claude, ChatGPT en Mistral, tonen aan dat sommige kenmerken van studenten moeilijk te reconstrueren zijn. Iannacone benadrukt dat dit geen ranglijst van tutors is, maar een test van de grenzen van inferentie over de student. Hoewel de instrumenten en methoden openbaar zijn via Zenodo, is er nog geen bewijs dat Proxima het leren over een langere periode verbetert bij echte studenten.