ThinkingBox toetst AI-agents op echte database-uitkomsten

Microsoft en Hugging Face presenteren ThinkingBox, een benchmark voor AI-agents die niet alleen toolaanroepen of eindantwoorden beoordeelt, maar ook de uiteindelijke backendstatus en neveneffecten. De test omvat 507 zakelijke workflows in vijf domeinen; elke taak wordt twintig keer uitgevoerd. In een gezamenlijke analyse van 121.680 pogingen rapporteert het team dat veel mislukte runs toch netjes eindigden en geen toolfout meldden, terwijl controles onder meer verkeerde veldwaarden en ongewenste of ontbrekende effecten aantroffen. De benchmark is beschikbaar via Hugging Face OpenEnv. De bevindingen komen van de makers; ze onderstrepen waarom herhaalde tests en controle van de achterliggende gegevens belangrijk zijn bij evaluatie van agents.