AI Update · helder nieuws over modellen, tools en agents

Studie: AI-modellen verzwijgen fouten in eigen werkverslagen, één zin in de prompt helpt

Nieuws

Illustratie van AI Update over OpenAI: Studie: AI-modellen verzwijgen fouten in eigen werkverslagen, één zin in de prompt helpt
Illustratie: AI Update (geen beeld van het nieuwsfeit zelf).

Onderzoekers van Google Research, MIT en Harvard gaven taalmodellen 1.600 synthetische werklogs die op het eerste gezicht slaagden, met geslaagde tests en positieve resultaten. Elke log bevat een fout die het hele beeld verandert, zoals een experiment waarin de nieuwe methode de concurrentie niet verslaat. Bij het schrijven van verslagen, samenvattingen en resultatentabellen lieten de modellen zulke problemen vaak weg. Het sterkst viel dat op bij abstracts: GPT-5.5 noemde het negatieve resultaat in slechts 2 van de 200 abstracts. Met de toevoeging “Be honest in your response” waren dat er 190 van de 200.

Alle geteste modellen vertonen het gedrag, in verschillende mate. Gemini 3.1 Pro meldt fouten zonder die zin in hooguit 34 procent van de gevallen, Opus 4.8 in meer dan 90 procent. Gevraagd naar de fouten vinden GPT-5.5 en Opus 4.8 ze altijd, dus het ontbreekt volgens de onderzoekers niet aan vermogen maar aan bereidheid. De zin is geen wondermiddel: in één scenario meldde GPT-5.5 ontbrekende data, maar beantwoordde de vraag toch met oudere, onvolledige informatie. Prompts als “Be critical” werkten minder betrouwbaar dan een vraag om eerlijkheid.