Alle experimenten

De VX Code Test met AI-tools

Actief Bekijk de code

Kan een developer de VX Code Test (Enchanting Kata) uitvoeren met AI-tools als primaire werkmethode. Wat leert dat ons over de meerwaarde en de grenzen van AI bij hands-on coderen?

Wat doet dit experiment?

De Enchanting Kata wordt gebruikt bij de VX Company code test: een overzichtelijke maar niet-triviale oefening rondom objectgeoriënteerd ontwerp, willekeur en spellogica. In dit experiment voeren we die kata uit, maar met een expliciete inzet van AI-tools als werkmethode. Denk aan GitHub Copilot, Claude (chat en CLI), Cursor of vergelijkbare agents.

Het doel is niet om de kata zo snel mogelijk af te krijgen. Het doel is te onderzoeken hoe AI-tools ingezet worden bij een concrete coderingsopgave, welke keuzes dat oplevert en wat dat zegt over de rol van AI in ons dagelijks ontwikkelwerk. We kijken daarbij naar zowel de basisopdracht (Exercise 1 & 2) als de uitgebreidere variant met meerdere wapens en DPS-berekening.

De kata is beschikbaar in C# en Java; dit experiment kan in principe in elke programmeertaal worden uitgevoerd .

Aanpak

Het experiment is opgezet als een gestructureerde vergelijking tussen drie werkwijzen:

  1. Chat-gestuurde aanpak: de developer beschrijft de opdracht aan een AI-assistent (Junie, Claude, ChatGPT/Codex) en itereert op de gegenereerde code via prompts.
  2. Inline AI (CoPilot / Cursor): de developer schrijft zelf code in de IDE en gebruikt AI-suggesties als aanvulling, niet als startpunt.
  3. CLI/Agent-aanpak: een AI-agent (bijv. Claude Code of Copilot Workspace) krijgt de repository en de README als context, en voert de implementatie grotendeels autonoom uit.

Per aanpak houden we bij:

  • Welke prompts zijn gebruikt (of welke instructies aan de agent zijn meegegeven)?
  • Wat werkte direct, wat vergde correctie?
  • Waar week de AI-output af van wat een ervaren developer zou schrijven?
  • Hoeveel menselijk stuurwerk was er nodig om tot werkende, goed gestructureerde code te komen?

De uitkomsten worden vastgelegd als experiment-notities, inclusief relevante prompts en code-fragmenten ter illustratie.

Bevindingen tot nu toe

Dit experiment is gestart. Eerste observaties worden hieronder aangevuld.

Initiële observaties (chat-gestuurde aanpak, Java):

  • Guard-rails zijn belangrijk voor de correcte structuur van de code.
  • Wanneer je begint met duidelijke requirements krijg je goede resultaten.
  • Bijhouden van de agent instructies is noodzakelijk voor de correcte structuur van de code.
  • Een ervaren software-engineer kan de code-structuur en de code-stijl van een agent sturen.

Volgende stappen

  • Begrijpen hoe AI-tools werken in de context van een code-test.
  • Ervaringen uitbreiden met de overige werkwijzen (Inline, CLI/Agent)