"Lokale AI is vast minder slim dan ChatGPT." Die aanname is vaak te horen. Een paar jaar geleden klopte die ook, maar voor de meeste zakelijke toepassingen is dat beeld inmiddels achterhaald.
Waar de mythe vandaan komt
Een paar jaar terug was het verschil tussen lokaal draaiende modellen en de grote cloud-modellen groot. Lokale modellen waren klein, omdat consumentenhardware niet genoeg geheugen had voor iets groters. Klein betekende destijds ook merkbaar minder capabel.
Die aanname is blijven hangen, ook nu de werkelijkheid is veranderd. Twee ontwikkelingen hebben daarvoor gezorgd.
Hardware en modellen hebben het gat gedicht
De hardware is vooruitgegaan. Machines met grote hoeveelheden gedeeld geheugen, zoals de nieuwste generatie AMD-chips met 128 gigabyte en meer, draaien modellen die een paar jaar geleden alleen in een datacenter pasten.
De modellen zelf zijn efficiënter geworden. Open-source modellen van partijen als Mistral, Meta en Alibaba leveren op specifieke taken prestaties die nauwelijks te onderscheiden zijn van de grote, gesloten cloud-modellen. Een groot deel van die vooruitgang komt uit betere trainingsmethoden en trainingsdata van hogere kwaliteit in plaats van uit grotere modellen.
Het verschil bestaat nog aan de bovenkant
Voor de allerzwaarste taken, zoals complexe wiskundige bewijzen of het analyseren van enorme ongestructureerde datasets in één keer, hebben de grootste cloud-modellen nog een voorsprong. Dat verschil is reëel en het zou misleidend zijn om te beweren dat het er niet is.
Maar dat is niet de taak waarvoor de meeste organisaties AI inzetten. Vragen beantwoorden over een dossier, een rapport samenvatten, een conceptmail opstellen: bij deze taken is een goed gekozen lokaal model in de praktijk niet te onderscheiden van een cloud-model, zeker wanneer dat model de juiste documenten op het juiste moment aangereikt krijgt. Zo werkt KennisKluis: de KennisKern zoekt de relevante passages in de eigen kennisbank op en levert het antwoord met bronvermelding, in plaats van te gokken vanuit algemene kennis.
Goed genoeg voor de taak is de maatstaf
Welk model in absolute zin het beste presteert, is voor de keuze minder relevant. De vraag is of een model goed genoeg is voor de taak en draait op een manier die bij de organisatie past. Voor verreweg de meeste MKB-toepassingen is dat allang het geval, ook lokaal.