Een AI-agent die een taak verkeerd uitvoert, krijgt vaak meteen een langere systeeminstructie. Harness², een onderzoeksproject van Google Research en Northwestern University, kiest een andere route: laat het model gelijk en verbeter de omgeving waarin het werkt.
Wat is Harness²?
Een ‘harness’ is het geheel rond een model: prompts, guardrails, geheugen, tools, skills, scripts, subagents en plugins. Harness² gebruikt een Propose–Probe–Compose-cyclus. Eerst stelt een editor wijzigingen voor. Daarna voert de agent dezelfde taak uit met verschillende varianten. Tot slot worden de verbeteringen samengevoegd op basis van het verschil in gedrag en resultaat.
De aanpak is bedoeld voor open taken waarbij vooraf geen betrouwbaar antwoordmodel of vaste verifier bestaat. De modelgewichten blijven gelijk; de uitvoeringslaag wordt aangepast. Het project werkt bovendien met een blijvende verbeterlaag waarin aangenomen harnesses en lessen met bewijs worden bewaard.
Waarom blind prompt-editing riskant is
De officiële paper beschrijft dat een editor die een basis-harness rechtstreeks herschrijft zonder uitvoeringsbewijs de resultaten juist kan verslechteren. In het DEV-artikel wordt dat concreet gemaakt met een daling op coding- en webtaken. Dat is geen bewijs dat prompts onbelangrijk zijn, wel dat een losse promptwijziging een zwakke diagnose is.
De kern is eenvoudig: kijk eerst naar de input, de toolkeuzes, de geproduceerde bestanden en de controles achteraf. Pas daarna beslist u of de oplossing in een prompt, skill of script hoort.
De praktische les voor agent-workflows
Een prompt geeft context en grenzen. Een skill beschrijft een herhaalbare werkwijze. Een script controleert iets deterministisch, zoals of een geproduceerd bestand niet alleen bestaat maar ook inhoudelijk klopt. In de voorbeelden uit het onderzoek leverden skills en scripts meer winst op dan uitsluitend promptonderdelen.
- log welke input de agent werkelijk kreeg;
- bewaar welke tools en bestanden hij gebruikte;
- maak voor één terugkerende fout een controleerbaar script;
- vergelijk twee varianten op dezelfde taak;
- neem een wijziging pas over wanneer het resultaat en de beperking zijn vastgelegd.
Beperkingen en risico’s
Harness² is geen garantie op betrouwbare zelfverbetering. De beoordeling gebeurt nog steeds met modellen en blijft gevoelig voor uitvoeringsvariatie en gedeelde modelbias. Elke extra probe kost tijd en mogelijk API-budget. Ook kunnen eerder opgeslagen lessen verouderd raken; het project noemt het actualiseren van zulke ervaringen als open werk.
De cijfers komen uit specifieke benchmarks, modellen en configuraties. Ze bewijzen niet dat dezelfde winst automatisch optreedt in uw productieomgeving. Begin daarom met een vaste testset, een rollback van de harness-configuratie en een expliciete grens voor wat een agent zelfstandig mag wijzigen.
Officiële bronnen
De officiële paper op arXiv beschrijft de methode en de beperkingen. De officiële GitHub-repository bevat de componenten, benchmarkinstructies en voorbeeldcode.