Een consultant stelt de vraag in gewone taal, een agent levert een resultaat. Dit experiment toetst 1 ding: hoeveel scheelt het of de definities achter de vraag zijn opgeschreven of in het hoofd van de analist zitten.
Wat doet dit experiment?
VX-consultants werken vaak in datateams bij klanten. Een deel van dat werk bestaat uit het vertalen van een vraag van een stakeholder naar een query. Om vervolgens die query te vertalen naar een grafiek of rapport dat iemand anders kan lezen. Agentic BI belooft die vertaalslag over te nemen.
De gangbare demo laat zien dat een model correcte SQL schrijft. Dat is inmiddels het makkelijke deel. Dit experiment richt zich op het lastige deel. Begrippen als “actieve klant”, “omzet” en “doorlooptijd” staan zelden in het schema en vrijwel altijd in het hoofd van de analist. Een agent die zo’n begrip zelf invult, levert een antwoord dat technisch klopt op de verkeerde vraag.
We toetsen daarom 1 ding: hoeveel scheelt het als je die kennis wel opschrijft. Dezelfde vragen gaan twee keer door de molen, eerst tegen een kaal schema en daarna tegen precies dezelfde data met tabel- en kolomcommentaar en vastgelegde definities.
MotherDuck met de Claude Connector vormt de omgeving.
Aanpak
Een synthetische dataset. Een consultancy-domein met klanten, projecten, uren en facturen. Bewust rommelig, zoals je data in de praktijk wel eens aantreft: inconsistente statuswaarden, dubbele klantnamen en einddatums die soms leeg blijven. Dat heeft twee redenen. De richtlijnen voor verantwoord AI-gebruik laten geen klantdata toe in cloud-tooling en bij een set die we zelf bouwen kennen we het juiste antwoord op elke vraag. Zonder dat laatste valt er niets te scoren.
Vijftien vragen in drie niveaus. Niveau 1 is feitelijk, gaat over een enkele tabel en heeft een antwoord dat objectief te controleren valt. Niveau twee bevat een bedrijfsregel die nergens in het schema staat, bijvoorbeeld welke klanten achterlopen of welke projecten uitlopen. Niveau drie bestaat uit vragen die de data niet kan beantwoorden of die meerdere geldige interpretaties toelaten. Daar is doorvragen het goede gedrag en antwoorden het foute.
Twee ronden. Eerst het kale schema, daarna hetzelfde schema met commentaar en definities erbij. Zelfde vragen, zelfde volgorde, zodat het verschil aan de context toe te schrijven valt.
Scoren per vraag. Drie mogelijke uitkomsten: goed, plausibel maar fout, of terecht doorgevraagd. Een tweede consultant beoordeelt het opgeleverde resultaat (query result, rapport of dashboard) zonder het gesprek te zien dat eraan voorafging. Uitzondering zijn de vragen van Niveau 3: daar is het gesprek onderdeel van de beoordeling.
Bevindingen tot nu toe
Het experiment loopt nog niet. Hieronder staan de aannames die we willen toetsen, opgeschreven zodat we achteraf kunnen zien welke standhielden.
- De meeste fouten zitten in de interpretatie, niet in de SQL.
- De winst komt uit vastgelegde definities en niet uit scherper geformuleerde prompts.
- Niveau drie vormt de echte test. Een agent die altijd een antwoord produceert, richt meer schade aan dan een agent die soms terugvraagt.
- “Plausibel maar fout” is de categorie die telt. Een zichtbaar verkeerd dashboard corrigeert zichzelf, een geloofwaardig verkeerd dashboard niet.
Volgende stappen
- De synthetische dataset bouwen, laden in MotherDuck en publiceren op GitHub, met de verwachte antwoorden erbij.
- De vijftien vragen vastleggen, inclusief niveau en correct antwoord per vraag.
- Beide ronden draaien en de uitkomsten naast elkaar leggen.
- De bevindingen vertalen naar een checklist voor datateams bij klanten: wat moet er op orde zijn voordat agentic BI meer oplevert dan het kost.