Marketingranglijsten zeggen weinig als je taak, data en risico’s niet vastligt. Een eerlijke modelvergelijking begint bij dezelfde input, dezelfde succescriteria en een gedocumenteerde testdatum — want modelversies en system prompts veranderen.
Stap 1: definieer de taak
Schrijf op wat “goed” betekent: feitelijke juistheid, toon, structuur, latency, kosten, of de mogelijkheid om bronnen te controleren. Zonder die definitie vergelijk je impressies, geen systemen.
Stap 2: gelijke proefopzet
- Zelfde prompts en contextvenster-limieten waar relevant.
- Meerdere voorbeelden (niet één cherry-picked demo).
- Vaste beoordelaars of een scoreformulier.
- Noteer modelnaam, versie/datum en of tools/browsing aan stonden.
Stap 3: meet meer dan “slimheid”
Neem kosten per taak, snelheid, privacy (data residency, training-on-inputs), uitval en weigeringen mee. Een model dat sneller is maar vaker hallucineert, kan duurder zijn in herstelwerk. NIST’s AI RMF helpt risico’s te structureren (map/measure/manage) naast pure kwaliteitsmetrics.
Stap 4: herhaal en archiveer
Sla prompts, outputs en scores op. Bij een modelupdate herhaal je dezelfde set. Zo zie je regressies. Publieke leaderboards zijn hoogstens startpunt; je eigen workload is de waarheid voor jouw organisatie.