De kracht van een LLM zit niet in de superieure intelligentie, maar in het superieur taalgebruik. Dat is heel gek voor ons mensen, want wij zijn gewend dat goed taalgebruik hand in hand gaat met intelligentie. Sommigen denken ook dat taalvaardigheid afdoende is om tot intelligentie te komen. Eerst zien dan geloven.

Zo zijn LLM’s tot nu toe slecht in schaken. Vaardigheden zoals basale wiskunde worden wel correct uitgevoerd, maar de methode om tot de uitkomst te komen is twijfelachtig. Ook lopen modellen nog ver achter op gezond verstand, zelfs als deze modellen een PhD denkniveau worden toebedeeld door de makers.

In tegenstelling tot velen denk ik niet dat LLM’s waardeloos zijn als ze (nog?) niet intelligent zijn. Een uitstekende taal beheersing kan heel nuttig zijn, mits het probleem dat we willen oplossen geformuleerd kan worden als een puur taal probleem. Automatisch examens en testen nakijken is een probleem, dat naar mijn idee geformuleerd kan worden als een taak, waarbij taalbeheersing afdoende is om de taak naar wens af te ronden.

Met behulp van Sonja van Dam (TU Delft) heb ik gekeken naar mogelijkheden om met een LLM automatisch na te kijken. De tussentijdse conclusie is dat er potentie is, maar dat het antwoordmodel geschikt voor mensen suboptimaal is als antwoordmodel voor een LLM. Wij gaan zeker vervolgstappen zetten om te zien welke rol superieure taalbeheersing kan spelen bij (saai) nakijkwerk!

Wil je op de hoogte blijven van ontwikkelingen of heb je een vraag? Laat dan een berichtje achter!