Elke maand verschijnen er nieuwe AI-modellen met hogere scores op openbare ranglijsten. Die scores worden gemeten op Engelstalige testsets en op datacenterhardware. Ze zeggen weinig over hoe een model omgaat met een Nederlands vonnis op een kastje naast je bureau. Daarom testen we elk onderdeel dat we overwegen zelf, op onze eigen hardware en met onze eigen vragen. Twee keer leverde dat een andere uitkomst op dan de papieren verbetering beloofde.
Zo ziet de test eruit
We houden een vaste set van 154 vragen over Nederlandse juridische documenten apart. De documenten waaruit die vragen komen, krijgt een model tijdens het bijtrainen nooit te zien. Een groter model beoordeelt elk antwoord: klopt het met de bron, staat de juiste bronvermelding erbij, is het Nederlands goed. Ook tellen we hoe vaak een model weigert te antwoorden, terecht en onterecht.
Een bijgetraind model werd beter en tegelijk slechter
In juli trainden we een klein lokaal model bij met ruim duizend voorbeelden, gemaakt uit onze eigen documenten. Het aandeel antwoorden dat echt op de bron was gebaseerd, steeg van 87,7 naar 93,8 procent.
Het aandeel onterechte weigeringen steeg ook: van 10,3 naar 19,2 procent. Bijna één op de vijf keer zei het model "dat staat niet in de documenten" terwijl het antwoord er wel stond. Zo'n model lijkt voorzichtig, maar de gebruiker krijgt geen antwoord terwijl het wel in de documenten staat. Wie dat vaak meemaakt, stopt met het systeem te gebruiken.
De oorzaak zat in de trainingsset. Van de voorbeelden was 4,6 procent een vraag waarop het model moest weigeren, en dat bleek te zwaar te wegen. Dit model is niet in gebruik genomen. Voor de volgende trainingsronde hebben we het aantal voorbeelden waarin het model hoort te weigeren teruggebracht van 41 naar 17. Die ronde moet nog worden uitgevoerd.
Een scherpere reranker vond minder
Een reranker bepaalt welke gevonden tekstfragmenten in het antwoord terechtkomen. Een nieuwere reranker zette het beste fragment vaker bovenaan: de score daarvoor ging van 0,875 naar 0,903.
Bij vragen die informatie uit meerdere documenten moeten combineren, zakte de dekking van 90 naar 76 procent. De nieuwe reranker gaf fragmenten die maar één deel van de vraag raakten een score van bijna nul. Juist die fragmenten waren nodig om het hele antwoord samen te stellen. We hebben de oude reranker gehouden.
Een ranglijst voorspelt geen van beide
Geen van deze uitkomsten was uit een ranglijst te halen. Ze werden pas zichtbaar door te meten op Nederlandse documenten, met meer dan één getal tegelijk. Daarom gaat bij KennisKluis geen nieuw model of onderdeel in gebruik voordat het deze test heeft doorstaan.
Bron: eigen metingen van juli 2026, vastgelegd in ons ontwikkellogboek.
Wil je dit onderwerp voor je eigen organisatie bespreken? Een gesprek van 30 minuten plan je via de contactpagina.