Automatisch testscenario's en testdata genereren op basis van requirements en user stories met behulp van LLMs.
Wat doet dit experiment?
Dit experiment onderzoekt hoe Large Language Models ingezet kunnen worden om automatisch testscenario’s te genereren op basis van bestaande requirements en user stories. Door AI te koppelen aan het testproces, willen we de tijd die teams besteden aan het schrijven van handmatige testcases drastisch reduceren.
Aanpak
We gebruiken een RAG-architectuur waarbij requirements worden opgeslagen in een vectordatabase. Een LLM genereert vervolgens op basis van deze context relevante testscenario’s in Gherkin-formaat, direct bruikbaar in bestaande testframeworks zoals Cucumber of SpecFlow.
Bevindingen tot nu toe
Initiële tests tonen aan dat het model in 70–80% van de gevallen bruikbare testscenario’s genereert zonder menselijke tussenkomst. De grootste uitdaging zit in edge cases en negatieve testpaden.
Volgende stappen
- Fine-tuning op domeinspecifieke testdata
- Integratie met Jira voor directe koppeling aan user stories
- Evaluatie van testdekking versus handmatig geschreven tests