Een lokaal draaiende RAG-applicatie bouwen op technische documentatie, geïnspireerd op een proof-of-concept met Tolkiens werk zodat ontwikkelaars directe, contextbewuste antwoorden krijgen op vragen over de codebase.
Wat doet dit experiment?
Dit experiment onderzoekt hoe Retrieval-Augmented Generation (RAG) ingezet kan worden op technische documentatie, volledig lokaal en zonder afhankelijkheid van clouddiensten. Als proof-of-concept werd eerst een RAG-applicatie gebouwd op de verzamelde werken van Tolkien, inclusief Lord of the Rings lore, om het concept concreet en toetsbaar te maken. De vertaalslag naar de praktijk: hetzelfde principe toepassen op codebases en technische documentatie, zodat ontwikkelaars in natuurlijke taal vragen kunnen stellen over een project.
Aanpak
De applicatie draait volledig lokaal met LM Studio en GPT4All als inference-backend. Documenten worden geïndexeerd in een vectordatabase; bij een vraag worden de meest relevante fragmenten opgehaald en als context meegegeven aan het lokale model. De Tolkien-casus diende als validatie van de RAG-pipeline: als het model correcte en specifieke antwoorden geeft over Middle-earth, werkt de retrieval. Vervolgens is dezelfde opzet toegepast op technische documentatie en codebase-artefacten.
Bevindingen tot nu toe
De Tolkien-casus bevestigde dat lokale modellen via RAG goed presteren op domeinspecifieke kennisvragen, mits de chunking en retrieval goed zijn afgestemd. Op technische documentatie zijn de eerste resultaten veelbelovend voor directe lookupvragen, maar complexere vragen die redeneren over meerdere documenten tegelijk blijven een uitdaging voor kleinere lokale modellen.
Volgende stappen
- Optimaliseren van chunking-strategie voor code en technische documentatie
- Vergelijken van lokale modellen (via LM Studio / GPT4All) op nauwkeurigheid en latency
- Evalueren van de meerwaarde ten opzichte van bestaande tools zoals GitHub Copilot Chat
- Onderzoeken of de aanpak schaalbaar is naar grotere codebases en meerdere repositories