AI als studiepartner

Wat doet dit experiment?

Dit experiment onderzoekt hoe AI-tools en LLMs de voorbereiding op de Java Oracle Certified Professional (OCP) certificering kunnen ondersteunen. Concreet kijken we naar taken als het opstellen van een studieplan, het genereren van samenvattingen per examendomein, het uitleggen van complexe codevoorbeelden en het analyseren van antwoorden op proefexamenvragen. Een belangrijk nevendoel is te bepalen welk model of welke tool het meest geschikt is voor welk type studietaak.

Aanpak

We testen meerdere LLMs en AI-tools (o.a. Claude, ChatGPT, GitHub Copilot, Gemini) op een gestructureerde set studietaken:

• Plannen: genereren van een persoonlijk studieplan op basis van beschikbare tijd en zwakke domeinen
• Samenvatten: compacte, accurate samenvattingen per OCP-examendomein (bijv. streams, concurrency, modules)
• Uitleggen: stap-voor-stap toelichting op codevoorbeelden en typische examenvalkuilen
• Oefenen: analyse van fout beantwoorde proefexamenvragen met uitleg van het correcte redeneerpad

Per taaktype evalueren we de output op nauwkeurigheid, diepgang en bruikbaarheid voor een ervaren Java-ontwikkelaar.

Bevindingen tot nu toe

Eerste ervaringen laten zien dat LLMs sterk presteren op het uitleggen van concepten en het analyseren van proefexamenvragen, maar moeite hebben met subtiele Java-specificaties (bijv. edge cases sealed classes of module visibility). Hallucinations op API-details zijn een reëel risico: het model kan zelfverzekerd een verkeerd antwoord geven dat op een echt examen punten kost.

Volgende stappen

• Gestructureerde benchmark: elk model op dezelfde set van 20 OCP-examenvragen beoordelen
• Evaluatie van tool-fit per taaktype (planning vs. uitleg vs. oefenen)
• Onderzoeken of een RAG-opzet met de officiële OCP Study Guide de nauwkeurigheid verbetert
• Resultaten delen als herbruikbaar raamwerk voor andere certificeringstrajecten binnen VX Company